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‚ ПРЕДИСЛОВИЕ 


Книга написана на основе курсов лекций, читанных 
автором на протяжении ряда лет, студентам факультета 
прикладной математики Московского авиационного ин- 
ститута им. С. Орджоникидзе (МАИ). 

Книга рассчитана на студентов и аспирантов факуль- 
тетов прикладной математики университетов и высших 
технических учебных заведений. Однако она может быть 
полезной и для инженеров и научных работников, кото- 
рым приходится пользоваться статистическими методами 
в прикладных исследованиях, а также для математиков, 
специализирующихся в области теории вероятностей и 
математической статистики. 

Книга ориентирована в первую очередь на приклад- 
ников. Это определило ее структуру и характер. В ней 
дано достаточно строгое изложение основ теории веро- 
ятностей и математической статистики в рамках конечно- 
мерных случайных величин без применения теории меры 
и функционального анализа. | 

За основу построения теории вероятностей принята 
система аксиом А. Н. Колмогорова. Однако аксиомы вво- 
дятся лишь после изучения свойств частот событий и под- 
хода к понятию вероятности как абстрактному понятию, 
отражающему экспериментально наблюдаемую закономер- 
‚ ность в поведении частот событий—их устойчивость. 
В результате такого подхода аксиомы теории вероятностей 
вводятся как естественное распространение свойств частот 
событий на вероятности. | 

При изучении случайных величин почти везде, осо- 
бенно в задачах математической статистики, рассматри- 
ваются сразу векторные случайные величины. Это уси- 
ливает прикладную направленность книги, так как в 
большей части задач практики приходится иметь дело 
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с многомерными случайными векторами (конечными мно- 
жествами скалярных случайных величин). 

Для того чтобы приблизить излагаемые методы к не- 
посредственному: практическому применению с использо- 
ванием ЭВМ, в книге даны ссылки на соответствующие 
стандартные программы вычислений в «Сборнике научных 
программ на Фортране» фирмы 1ВМ [94]. 

Первоначально книга была задумана только как учеб- 
ное пособие по одноименному курсу, однако затем воз- 
никла необходимость включить в книгу дополнительный 
материал по математической статистике, необходимый 
для выполнения студентами курсовых и дипломных работ, 
а также обеспечения студенческих научно-исследователь- 
ских работ. В результате книга, кроме основ теории 
вероятностей, содержит краткое изложение всех основных 
разделов математической статистики (применительно К 
конечномерным случайным величинам). 

Кроме традиционных вопросов точечного и интерваль- 
ного оценивания и общей теории оценок, в книге изло- 
жены метод стохастических аппроксимаций, многомерный 
регрессионный анализ, дисперсионный анализ, факторный 
анализ, теория оценивания неизвестных параметров в 
стохастических разностных уравнениях, основы теории 
распознавания и проверки гипотез, элементы общей ста- 
‘тистической теории решений, основы метода статисти- 
ческого моделирования. 

В первой главе изучаются основные свойства частот 
событий, дается частотный подход к понятию вероятности 
и рассматриваются случаи, когда вероятности событий 
можно вычислять непосредственно из ссображений равно- 
возможности (равновероятности) различных исходов 
опыта. После этого дается понятие элементарного собы- 
тия, формулируются основные аксиомы теории вероят- 
ностей, вводятся понятия вероятностного пространства, 
распределения вероятностей, условной вероятности, за- 
висимости и. независимости событий и’выводятся основ- 
ные формулы, непосредственно вытекающие из аксиом, 
в том числе формулы; определяющие биномиальное и 
полиномиальное распределения. Затем выводится рас- 
пределение Пуассона. 

Во второй главе рассматриваются случайные величины 
и их распределения, изучаются основные характеристики 
распределений конечномерных случайных величин — плот- 
ность и функция распределения. Показывается, что плот- 
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ность как обобщенная функция, содержащая ‘линейную 
комбинацию 6-функций, существует для всех трех типов - 
случайных величин, встречающихся в задачах практи- 
ки, — непрерывных, дискретных и непрерывно-дискретных. 
Приводится пример случайной величины, не имеющей 
плотности такого типа. 

В третьей главе изучаются числовые характеристики 
случайных величин. Сначала дается определение мате- 
матического ожидания и изучаются основные свойства 
математических ожиданий. Потом дается определение 
моментов второго порядка и изучаются их свойства. 
После этого определяются моменты любых порядков для 
действительных случайных величин. Кроме моментов, для 
действительных скалярных случайных величин даются 
понятия медианы и квантилей. Глава заканчивается изу- 
чением одномерного нормального распределения. 

В четвертой главе изучаются распределения и услов- 
ные распределения проекций случайного вектора. Выво- 
дятся формулы для определения плотности проекции 
случайного вектора и ее условной плотности при данном 
значении проекции случайного вектора на дополнительное 
подпространство по данной плотности случайного век- 
тора. Даются понятия зависимости и независимости слу- 
чайных величин. Определяются условные моменты. Изу- 
чаются многомерное нормальное распределение и харак- 
теристические функции случайных величин. 

В пятой главе излагаются методы нахождения рас-. 
пределений функции случайных величин по данным рас- 
пределениям величин-аргументов. Рассматриваются общий 
метод определения функций распределения функций 
случайных величин, два метода определения плотностей — 
метод сравнения элементов вероятности и метод 6-функ- 
ций — и метод определения характеристических функций. 
Дается доказательство предельной _ теоремы для сумм 
независимых случайных величин в случае одинаково рас- 
пределенных слагаемых. В качестве примеров применения 
общих методов приводится вывод основных распределе- 
ний, встречающихся в математической статистике. 

В шестой главе сначала дается постановка основной 
задачи математической статистики— задачи’ оценивания 
неизвестных вероятностей событий, распределений сЛу- 
чайных величин и их параметров. Затем рассматриваются 
основные виды сходимости последовательностей случайных 
величин, даются общие определения, касающиеся оценок 
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и доверительных областей, и излагаются основные методы 
нахождения доверительных областей для неизвестных 
‘параметров. После этого изучаются частота как оценка 
вероятности события и оценки моментов, получаемые с 
помощью выборочных средних. Глава заканчивается из- 
`ложением основных методов проверки гипотез о пара- 
метрах распределений. 

В седьмой главе излагается общая теория оценок 
параметров распределений и основные методы нахождения 
оценок — метод максимума правдоподобия и метод момен- 
тов. Изучается рекуррентное оценивание корня уравнения 
регрессии и точки экстремума регрессии методом сто- 
хастических аппроксимаций. 

В восьмой главе излагаются основные методы оцени- 
вания плотностей и функций распределения случайных 
величин и методы приближенного аналитического пред- 
ставления распределений. Излагаются методы проверки 
гипотез о распределениях по критериям К. Пирсона, 
А. Н. Колмогорова и Н. В. Смирнова и рассматри- 
вается оценивание параметров распределений методом 
минимума 5?”. В последнем параграфе дается краткое 
изложение метода статистического моделирования как 
метода приближенных вычислений и как метода научного 
исследования. 

В девятой главе изучаются регрессионные статисти- 
ческие модели. Сначала излагается общий метод опре- 
деления средней квадратической регрессии в заданном 
классе функций, в частности линейной средней квадра- 
тической регрессии. Потом излагаются методы оценива- 
ния линейных регрессий (регрессионный анализ) и методы 
проверки гипотез о регрессиях. Наконец, из общей теории 
построения линейных регрессионных моделей выводятся 
основы теории дисперсионного анализа. 

В десятой главе изучаются статистические модели 
других видов. Сначала рассматриваются модели, описы- 
ваемые разностными уравнениями, в частности модели 
авторегрессии, излагается метод оценивания последова- 
тельностей ‘случайных величин, определяемых разност- 
ными уравнениями, и неизвестных параметров в раз- 
ностных уравнениях и применение этого метода к линей- 
ным и нелинейным моделям авторегрессии. Затем изуча- 
ются некоторые методы построения факторных моделей 
(элементы факторного анализа) и модели распознавания. 
Показывается общность некоторых задач распознавания 
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и задач проверки гипотез о параметрах распределений. 
В последнем параграфе дается краткое изложение эле- 
ментов статистической теории решений (методов построения 
моделей процессов принятия решений). 

В каждой главе книги принята своя нумерация пара- 
графов, пунктов, формул и примеров. При ссылках на 
параграфы, пункты, формулы и примеры в пределах одной 
главы указываются только их номера в этой главе. При 
ссылках на параграфы, пункты, формулы и примеры из 
других глав перед номером параграфа, пункта, формулы 
или примера ставится номер соответствующей главы, 
отделенный от номера параграфа, пункта, формулы или 
примера точкой. Так, например, $ 2, п. 3.4, (72) и при- 
мер 5 означают ссылки на $ 2, п. 3.4, формулу (72) и 
пример 5 той же главы, в которой даны эти ссылки; 
$ 5.3, п. 5.2.3, (5.26) и пример 5.17 означают ссылки на. 
$ 3, п. 2.3, формулу (26) и пример 17 главы 5. 

Ссылки на литературу даны номерами соответствую- 
щих литературных источников в приложенном в конце 
книги списке, заключенными в квадратные скобки. Автор 
ни в какой мере не претендует на полноту приложен- 
ного списка литературы. В нем указаны только те ис- 
точники, на которые даются ссылки в тексте. 

Для удобства читателей формулировки всех основ- 
ных результатов и предложений выделены курсивом. 
Начало и конец выводов, доказательств и рассуждений, 
приводящих к определенным результатам, отмечены за- 
черненными треугольными указателями }> и «4. 

В главах 6—10 дано лишь краткое изложение основ- 
ных методов современной математической статистики 
конечномерных случайных величин. Для более глубокого 
и полного изучения математической статистики можно 
рекомендовать книги Г. Крамера [45], М. Кендалла и 
А. Стьюарта [35|], С. Уилкса [103], С.Р. Рао [86], 
-Т. Андерсона Ув а также книги по различным разделам 
математической статистики, на которые даны ссылки в 
главах 6 — 10. 

Для изучения математических‘ основ теории вероят- 
ностей рекомендуем книги М. Лоэва [51], Ж. Невё [64] 
и П. Л. Хеннекена и А. Тортра [119]. | 

Для справок по математическому анализу рекомен-. 
дуем книги В. И. Смирнова [96, т. 1, т. 2], Г. М. Фихтен- 
гольца |109], С. М. Никольского [69], по линейной ал- 
гебре — книги В. И. Смирнова |596, т. 3, ч. 1], А. И. Маль- 
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цева [56], Л. Н. Головиной [18], по теории матриц — 
книги Ф. Гантмахера [16], 1. Ланкастера __ М. Мар- 
куса и Х. Минца ]|57]. 

Последний параграф главы 8 («Метод статистического 
моделирования») и главы 9, 10 написаны при активном 
участии И. Н. Синицына, который помог также отредак- 
тировать всю рукопись. Без его помощи книга, вероятно, 
еще не скоро была бы написана. Считаю своим приятным 
долгом выразить И. Н. Синицыну глубокую признатель- 
ность за его неоценимую помощь. 

Глубокую благодарность приношу также Н. И. Андре- 
еву и Н. М. Сотскому за ценные замечания ‘и дискус- 
сии, способствовавшие значительному улучшению руко- 
писи, И. В. Синицыной, взявшей на себя труд неодно- 
кратной перепечатки различных вариантов рукописи, 
Н. С. Беловой, О. В. Тимохиной, А. С. Пиунихину, 
И. Д. Силуяновой и Н. Т. Чулюкановой за помощь в 
оформлении рукописи, С. Я. Виленкину за консультации 
по вычислительным аспектам изложенных в книге методов 
и за организацию вычислений на ЭВМ для ряда примеров. 


В. С. Пугачев 
Москва 
Апрель 1978 г. 


= 


Глава |1 


ВЕРОЯТНОСТИ СОБЫТИЙ 


$ 1. Случайные явления 


1.1. Примеры случайных явлений. Человек в своей 
практической деятельности на каждом шагу встречается 
со случайными явлениями. Без них не протекает ни один 
процесс. Простейшим примером случайных явлений слу- 
жат ошибки измерений. Мы знаем, что абсолютно точных 
измерений не существует, и чем точнее измерительный 
прибор, тем это более заметно. Измеряя один и тот же 
предмет, например взвешивая его на аналитических весах 
много раз, мы всегда получаем близкие, но различные 
результаты. Это объясняется тем, что результат каждого 
измерения содержит случайную ошибку и результаты 
разных измерений содержат различные ошибки. Предви- 
деть, какова будет ошибка данного конкретного измере- 
ния, Или даже определить ее после измерения принци- 
пиально невозможно. Производя ‘экспериментальное 
исследование какого-либо явления и систематизируя ре- 
зультаты в виде графических зависимостей, мы убежда- 
емся в том, что экспериментальные точки, если их до- 
статочно много, никогда не ложатся на одну кривую, 
а всегда заполняют некоторую полосу, т.е. имеет место 
случайный разброс экспериментальных точек: Этот разброс 

объясняется как ошибками измерений, так и действием 
_ других случайностей. 

Вторым примером случайных явлений может служить 
рассеивание снарядов. Снаряды никогда не ложатся в 
одну и ту же точку, даже тогда, когда прицеливание 
производится по одной точке. Казалось бы, условия 
одинаковы для всех выстрелов. Однако снаряды летят 
по разным траекториям и попадают в различные точки. 
Предвидеть заранее, в какую именно точку попадет 
данный снаряд, принципиально невозможно потому, что 
мы не можем абсолютно точно знать параметры состояния 
атмосферы во всех точках траектории, по которой летит 
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снаряд, а от этих параметров зависят аэродинамические 
силы и их моменты, действующие на снаряд. 

В качестве третьего примера случайных явлений 
укажем отказы различных технических устройств. Как 
бы совершенна ни была современная техника, иногда 
происходят отказы тех или иных приборов. Отказ при- 
бора —случайное явление. Невозможно заранее предви- 
деть, откажет он или нет, и если откажет, то в какой 
_ момент времени. 

К случайным явлениям относятся также шумы при 
приеме радиопередач. Так называемый «эфир» всегда 
насыщен различными электромагнитными излучениями, 
источниками которых служат электрические разряды в 
атмосфере, движение атмосферного электричества, рабо- 
тающие электрические устройства, созданные человеком, 
и т. п. Поэтому, как бы мы ни настраивали приемник 
на излучение интересующей нас станции, в него всегда 
попадают посторонние излучения, которые мешают слу- 
шать станцию, особенно удаленную. Это проявляется в 
том, что наряду с принимаемой передачей мы слышим 
в репродукторе шум и потрескивания. Это хорошо зна- 
комое всем явление тоже представляет собой случайное 
явление, так как невозможно заранее предсказать, когда 
и какое постороннее электромагнитное излучение попадет 
в приемник. Избежать же попадания посторонних излу- 
чений в приемник принципиально невозможно, раз он 
предназначен для приема он электромагнитных из- 
‘лучений. 
| Испытываемая нами иногда при полете на самолете 

«болтанка» —тоже случайное явление. Она представляет 
собой случайные колебания самолета, вызываемые слу- 
чайными порывами ветра в неспокойной атмосфере. 

1.2. Природа случайных явлений. Как и всякие яв- 
ления, случайные явления вызываются вполне опреде- 
ленными причинами. Все явления окружающего нас мира 
взаимно связаны и влияют одно на другое (закон все- 
общей связи явлений). Поэтому каждое наблюдаемое 
явление связано причинной зависимостью с бесчисленным 
множеством других явлений и течение его зависит от‘ 
бесчисленного множества факторов. Проследить все это 
бесконечное множество связей и определить действие 
каждой из них принципиально невозможно. Поэтому, 
‘изучая то или иное явление, человек ограничивается 
лишь основными факторами, определяющими его течение, 
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и пренебрегает огромным количеством второстепенных 
явлений. Это дает возможность глубже проникнуть в 
сущность явления, установить его закономерность. Вместе 
с тем, поступая так, человек обедняет явление, схема- 
тизирует его. Иными словами, он заменяет изучаемое 
явление подходящей упрощенной его моделью. Вледствие 
этого любой закон науки отражает сущность изучаемого 
явления, но он всегда значительно беднее, уже самого 
явления. Никакой закон не может характеризовать яв- 
ление всесторонне, во всей полноте и многообразии. 
Наблюдаемые в реальном явлении отклонения от законо- 
мерности, вызываемые совместным действием бесчислен- 
ного множества. неучтенных факторов, и представляют 
собой случайные явления. 

При экспериментальном изучении какого-либо явле- 
ния с целью установления его закономерностей приходится 
наблюдать его многократно в одинаковых условиях. При 
этом под одинаковыми условиями мы понимаем одинако- 
вые значения всех количественных характеристик’ конт- 
ролируемых факторов. Все неконтролируемые факторы 
будут при этом различными. Вследствие этого действие 
контролируемых факторов будет практически одинаковым 
при разных наблюдениях одного и того же явления. 
В этом как раз и проявляются законы данного явления. 
Случайные же отклонения от закономерности, вызванные 
действием неконтролируемых факторов, будут различ-. 
ными при разных наблюдениях, причем предвидеть за- 
ранее, какими они будут при данном конкретном наблю- 
дении, принципиально невозможно. | 

Роль случайностей в разных явлениях. различна. 
В некоторых явлениях случайные отклонения от законо- 
мерностей настолько малы, что их можно не учитывать. 
Однако есть и такие явления, в которых невозможно 
подметить никаких закономерностей и случайность играет 
основную роль. Примером такого явления может служить 
движение малой частицы твердого вещества, взвешенной 
в жидкости, так называемое броуновское движение. Под 
действием толчков огромного количества движущихся. 
молекул жидкости частица движется совершенно беспо- 
рядочно, без всякой видимой закономерности. В подоб- 
ных явлениях сама ‘случайность является закономер- 
ностью. 

При многократном наблюдении случайных явлений 
в них самих можно заметить определенные закономер-. 
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ности. Изучив эти закономерности, человек получает 
возможность в известной степени управлять случайными 
явлениями, ограничивать их влияние, предсказывать 
результаты их действия и даже целенаправленно исполь- 
зовать их в своей практической деятельности. Так, ‘на- 
пример, можно ‘проектировать измерительные системы, 
обладающие максимальной доступной точностью, радио- 
приемные устройства с максимальной помехозащищен- 
ностью, обладающие минимальным уровнем шумов, си- 
стемы управления движёнием летательных ‚аппаратов, 
обеспечивающие наибольшую возможную точность нави- 
гации или наименьшее действие «болтанки» на летательный 
аппарат. Можно также проектировать технические си- 
стемы, обладающие заданной надежностью. 

1.3. Массовые случайные явления. Из сказанного ясно, 
что закономерности случайных явлений могут прояв- 
ляться только при их многократном наблюдении. Отсюда 
можно сделать вывод, что изучению поддаются только 
такие случайные явления, которые можно, по крайней 
мере принципиально, наблюдать много, практически не- 
ограниченное число раз. Такие случайные явления на- 
зываются массовыми. Здесь следует заметить, что для 
изучения массовых случайных явлений нет никакой 
необходимости в том, чтобы взе их можно было факти-. 
чески наблюдать много раз. Изучив закономерности про- 
‚ стейших случайных явлений и построив на основе этого 
изучения соответствующую теорию, можно после этого 
теоретически изучать и более сложные случайные явле- 
ния, в том числе и такие, которые не поддаются непо- 
средственному наблюдению (но которые принципиально 
мыслимо наблюдать неограниченное число раз). Так, 
например, в'процессе проектирования космического ко- 
рабля, предназначенного для одного-единственного полета, 
можно исследовать надежность всего комплекса средств, 
обеспечивающих полет, произвести их расчет так, чтобы 
получить практическую уверенность в том, что все эти 
средства будут работать безотказно и полет пройдет 
благополучно. Сила науки в том и состоит, что, будучи 
основана на неболышом числе простейших положений, 
взятых из непосредственного наблюдения, она позволяет 
открывать и предсказывать новые факты теоретическим 
путем, без непосредственных наблюдений. 

1.4. Предмет теории вероятностей. Изучением законо- 
мерностей массовых случайных явлений занимается осо- 
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бая математическая наука — твория вероятностей. Методы 
теории вероятностей, называемые вероятностными или 
статистическими, дают возможность производить рас- 
четы, позволяющие делать определенные практические 
выводы относительно случайных явлений. Как и всякая 
прикладная наука, теория вероятностей нуждается в ис- 
ходных экспериментальных данных для расчетов. Раздел о 
теории вероятностей, изучающий методы обработки ре- 
зультатов опытов и получения из них необходимых дан- 
ных, называется математической статистикой. 

Теория вероятностей является мощным инструментом 
исследования, и поэтому она находит болышое число 
самых разнообразных применений в различных областях 
науки и инженерной практики. Области ее применения 
непрерывно расширяются. В прошлом веке теория веро- 
ятностей получила применение в теории измерений, в 
теории стрельбы и в физике. В нашем веке она посте- 
пенно проникла в аэродинамику и гидродинамику, радио- 
технику, теорию управления, динамику полета, теорию 
связи, строительную механику, теорию механизмов и 
машин, теорию волнения моря и качки кораблей, метеэ- 
рологию и во многие другие области знания. Сейчас 
трудно назвать отрасль науки, которая не пользовалась 
бы вероятностными методами. В современной теории про- 
цессов управления, в теоретической радиотехнике теория 
вероятностей стала основным инструментом исследований. 
Вся теория современных сложных систем и процессов 
управления основана на применении статистических ме- 
тодов. Теория вероятностей служит фундаментом для 
теории надежности технических систем и для многих 
других прикладных научных теорий. 

Этот процесс непрерывного расширения областей при- 
менения теории вероятностей вполне естествен и легко 
объясняется. Дело в том, что. в начале развития каждой 
отрасли науки человек стремится открыть основные за- 
коны этой науки и ему достаточно довольно грубого 
совпадения результатов расчета с данными опытов. Кроме 
того, техника эксперимента на начальной стадии несо- 
вершенна и не может обеспечить высокую точность из- 
мерений. По мере развития науки требования к точности 
‚расчетов повышаются, техника эксперимента совершен- 
ствуется, и случайные явления, которыми можно было 
пренебрегать в начале развития данной отрасли науки, 
начинают играть все более и более значительную роль. 
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В результате старая теория начинает во многом расхо- 
диться с экспериментальными данными и возникает не- 
обходимость обратиться к теории вероятностей. Теория 
вероятностей во всех таких случаях неизменно дает 
новую теорию, более точно описывающую изучаемые 
явления и обеспечивающую совпадение результатов тео- 
ретических расчетов с экспериментальными данными. Так 
случилось в начале тридцатых годов с теорией турбу- 
лентности в аэродинамике и в сороковых годах с теорией 
автоматического управления и радиотехникой, а потом 
и с другими прикладными научными теориями. 
Особенность вероятностных методов состоит в.том, что 
они рассматривают исследуемое явление в целом, изучают 
результаты совокупного действия всех причинных связей, 
которые невозможно проследить по отдельности. 


$ 2. Статистический подход к описанию 
случайных явлений 


2.1. Опыт, событие, случайная величина. Исходным 
пунктом для построения теории вероятностей, как и лю- 
бой другой теоретической науки, служат некоторые экспе- 
риментальные факты, на основе которых формируются 
соответствующие абстрактные понятия. Чтобы рассказать 
об этих фактах, необходимо ввести некоторые термины. 

Будем называть опытом наблюдение какого-нибудь 
явления при выполнении некоторого комплекса условий 
и действий, который должен каждый раз строго выпол- 
няться при повторении данного опыта. Наблюдение того 
же явления при другом комплексе условий и действий 
будет уже другим опытом. 

„Результаты опыта можно характеризовать качественно 
и количественно. | 

Качественная характеристика опыта состоит в .реги- 
страции какого-нибудь факта, т. е. в определении того, 
обладают результаты опыта каким-либо свойством или 
нет. Любой такой факт называется событием. При этом 
говорят, что «событие появилось (произошло)» или «со- 
бытие не появилось (не произошло)» в результате опыта. 

Примерами событий могут служить отказ прибора 
в данном интервале времени, попадание и промах при 
выстреле, получение т попаданий при п выстрелах. 

События обозначаются прописными латинскими бук- 
вами, обычно начальными, например А, В, С. 
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Количественная характеристика опыта состоит в опре- 
делении значений некоторых величин, полученных в ре- 
зультате опыта. Такие величины, которые могут прини- 
мать в результате опыта различные значения, причем до 
опыта невозможно предвидеть, какими именно они будут, 
называются случайными величинами. 

Примерами случайных величин могут служить ошибки 
и результаты измерений, время безотказной работы при- 
бора или системы, рост и вес наугад выбранного человека, 
координаты точки попадания (разрыва снаряда) при вы- 
стреле, число попаданий при п-выстрелах. 

Мы будем обозначать случайные величины прописными 
буквами, преимущественно из конца латинского алфа- 
вита а их конкретные значения — соответствующими 
малыми буквами. Например, случайные величины будем 
обозначать Х, У, 1, а их конкретные значения, полу- 
чаемые в результате опыта, — соответственно х, и, 2. Эти 
значения называются возможными значениями или реали-. 
зациями случайных величин Раны 

С каждой случайной величиной можно связать раз- 
личные события. Типичным событием, связанным со слу- 
чайной величиной, является событие, состоящее в том, 
что эта случайная величина примет в результате опыта 
какое-нибудь значение, принадлежащее данному множе- 
ству, безразлично какое именно. Такое событие коротко 
называется попаданием случайной величины в данное мно- 
_жество. 

2.2. Частота события. Естественно сравнивать события 
по тому, как часто каждое из них появляется при повторе- 
нии данного опыта. Если при повторении опыта одно собы- | 
тие появляется: чаще, чем другое, то говорят, что первое 
вероятнее второго. Ясно, что для сравнения событий 
необходимо предположить, что данный опыт можно про- 
изводить сколько угодно раз. В дальнейшем будем гово- 
рить Для краткости «производится п опытов» вместо 
«данный опыт производится п раз». | 

Частотой события ` называется отношение числа его 
появлений к числу всех произведенных опытов. 

Таким образом, если при п опыгах событие А появи- 
лось т раз, то его частота в данной серии опытов 
равна т/п. 

2.3. Условные частоты. В некоторых случаях частоту 
события приходится определять пзи дополнительном 
условии, что произошло некоторсе другое событие. Чтобы 


Н 


определить частоту события А при условии, что произо- 
шло событие В, необходимо учитывать не все произве- 
денные опыты, а только те из них, в которых произошло 
событие В. 

Таким образом, если из п произведенных опытов со- 
бытие В появилось в т опытах, причем в А из этих т 
опытов появилось и событие А, то частота события А 
при условии, что произошло событие В, равна Е /т. Эта 
частота, как правило, не совпадает с частотой события А, 
вычисленной с учетом всех п произведенных опытов. 

Частота события А,’ вычисленная с учетом только 
тех из произведенных опытов, в которых появилось со- 
бытие В, называется условной частотой события А отно- 
сительно события. В. 

2.4. Свойства частот. Событие называется невозможным 
и обозначается ©, если оно не может произойти в резуль- 
тате данного опыта. Событие называется достоверным и 
обозначается “2, если оно обязательно происходит в ре- 
зультате данного опыта, т. е. не может не произойти. 

События А, ..., А, называются несовместными в дан- 
ном опыте, если в результате этого опыта никакие два. 
из них не могут появиться вместе. Например, попадание 
и промах при одном выстреле, выпадение | очка, 2 очков 
и 3 очков при одном бросании игральной кости. 

Два события, несовместные в одном опыте, могут 
оказаться совместными в другом опыте. Например, по- 
падание ‚и промах несовместны при одном’ выстреле. 
Однако ”Они совместны, если за один опыт считаются 
два выстрела. 

После приведенных определений можно перейти к изу- 
чению основных свойств частот событий. 

1) Частота любого события представляет собой неот-' 
рицательное число, не превосходящее |, причем частота 
невозможного события равна 0, а частота достоверного 
события равна 1. 

2) Частота появления одного из несовместных событий, 
безразлично какого именно, равна сумме их частот. Это 
следует непосредственно из того, что число появлений 
сложного события, представляющего собой появление 
какого-нибудь из несовместных событий, равно сумме 
чисел появлений этих событий. 

3) Частота совместного появления двух событий А и 
В равна частоте одного из них, умноженной на условную 
частоту другого. Для доказательства достаточно заметить, 
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что если при п опытах А появилось т раз, а В—^ раз, 
причем [ раз вместе с А, а А—{[ раз без А, то частота 
совместного появления Ди В равна [//п, частота А рав- 
на т/п, а условная частота В относительно А равна рт. 

Очевидно, что если частота события в данной серии 
опытов равна 0 (или 1), то из этого не следует, что событие. 
невозможно (достоверно). Так, например, если при пяти 
бросаниях монеты герб не появился ни разу, то из этого 
не следует, что появление "герба невозможно. 

2.5. Вероятность события. Замечательный экспери- 
ментальный факт—основная закономерность, наблюдаемая 
в массовых случайных явлениях, — устойчивость частот 
событий при болышом числе опытов. Если при малом 
числе опытов частота события принимает совершенно 
случайно различные значения, то при неограниченном 
увеличении числа опытов она проявляет тенденцию ста- 
билизироваться около некоторого характерного для дан- 
ного события значения. | 

Допустим, что некоторый опыт неограниченно повто- 
ряется и после каждого опыта вычисляется частота со- 
бытия с учетом всех уже произведенных опытов. При 
этом обнаруживается, что вначале, когда число произ- 
введенных опытов мало, случайный результат каждого 
опыта существенно изменяет частоту события. Однако 
по мере возрастания числа опытов влияние результата 
каждого .нового опыта уменьшается. Так, например, 
результат тысячного опыта изменяет частоту меньше, 
чем на 0,001. Частота как бы стремится перестать быть 
случайной и стабилизироваться около некоторого зна- 
чения. 

Устойчивость частот событий дает основание считать, 
что с каждым событием связано некоторое число — веро- 
ятность этого события, — около которого стремится ста- 
билизироваться. его частота. Так, например, частота 
появления герба при бросании монеты, очевидно, должна 
стабилизироваться около 1/2. Следовательно, вероятность 
появления герба равна 1/2. 

Вероятность события А обозначается Р\(А). Это, ко- 
нечно, не исключает применения сокращенных обозначе- 
ний, например Р(А)=р ит. п. 

Понятие вероятности события является первичным 
в теории вероятностей и поэтому не нуждается в опре- 
делении. Оно представляет собой результат абстракции, 
необходимой для построения любой теории. Отвлекаясь 
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от сложных и несущественных колебаний частоты при 
неограниченном повторении опытов и оставляя основную, 
существенную закономерность, наблюдаемую’ в данном 
явлении, — устойчивость частоты, —мы и вводим абстракт- 
ное понятие вероятности события. 

Вероятность события в данном опыте —его объектив- 
ная характеристика. Она имеет вполне определенное 
значение независимо от того, собираемся мы производить 
опыты или нет. еж. \ 

2.6. Выборочное среднее. Основная задача экспери- 
ментального изучения случайных величин состоит в том, 
чтобы установить, как распределяются экспериментальные 
точки на числовой оси, на плоскости или в пространстве. 

Совокупность значений наблюдаемых величин, полу- 
ченных в результате опытов, называется выборкой. 

Получив выборку, необходимо прежде всего опреде- 
лить положение значений случайной величины на число- 
вой прямой и их рассеивание, т.е. размеры занимаемой 
ими области. 

За ‘характеристику положения экспериментальных 
точек обычно принимают среднее арифметическое значе- 
ние случайной величины, называемое выборочным средним. 

‚Предположим, что случайная величина Х приняла 
в результате и опытов значения х,,...,х,. Тогда выбо- 
рочное среднее определяется формулой 


х=- У, ды. . (1) 


Е=1 


2.7. Выборочные дисперсия и.среднее квадратическое 
отклонение. За экспериментальную характеристику рас- 
сеивания значений скалярной случайной величины обычно 
принимают среднее арифметическое значение квадратов 
отклонений экспериментальных значений случайной ве- 
личины от выборочного среднего. Эта характеристика 
называется выборочной дисперсией случайной величины. 

Если в результате. п опытов случайная величина Х 


приняла значения х,, ..., х,, то ее выборочная диспер- 
сия определяется формулой 
” | | 
ту. а: 
4, 2 24 (х,—х). (2) 


Недостатком выборочной дисперсии с практической 
точки зрения является отсутствие наглядности — она имеет 
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размерность квадрата случайной величины. Поэтому за 
практическую характеристику рассеивания значений слу- 
чайной величины обычно принимают выборочное среднее 
квадратическое отклонение, представляющее собой поло- 
жительный квадратный корень из выборочной дисперсии, 
+У&. 

и Для практических расчетов формуле (2) часто при- 
дают более удобную форму. Имея в виду, что на осно- 
вании (1) 


п 


х (хь— = ро х —9х х хь-- пл? = У М — п, 
к=1 Е=1 | 
можем переписать (2) в виде 
п 
к 1 У та | 
о Ив (3) 


При этом, чтобы избежать разности больших чисел, 
в случае необходимости из всех экспериментальных зна- 
чений х., ..., Хх, Ввычитают произвольное число, распо- 
‘ложенное в середине интервала, занимаемого этими зна- 
чениями (правило «ложного нуля»). 

2.8. Метод наименьших квадратов. При совместном 
изучении нескольких случайных величин, кроме их вы- 
борочных средних и дисперсий, необходимо определить 
еще какие-то характеристики зависимости между ними. 

Для отыскания приближенных зависимостей между 
изучаемыми экспериментально величинами обычно поль- 
зуются методом наименьших квадратов. 

Предположим, что требуется найти зависимость между 
наблюдаемыми величинами х ии (не обязательно слу- 
чайными). Для этого обычно выбирают подходящую 
функцию, зависящую от некоторых — параметров, 
ф(х; с1, ..., см), например линейную комбинацию М 
‚ определенных функций с неопределенными коэффициен- 
тами, и подбирают параметры с,:, ..., Су Так, чтобы 
сумма квадратов ошибок приближенной зависимости 
у=ф(х; с, ..., см) во всех экспериментальных точках 
была минимальной: 


п 
= [у —Ф (х,; С» оу см)? = ши. 


В этом и состоит метод наименьших квадратов. 
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Для минимизации 6 можно пользоваться различными 
методами отыскания экстремума функции, в зависимости 
от способа задания функции и сложности ее вычисления. 
В частности, можно применить: обычный, метод прирав-- 
нивания нулю’ первых производных б по с,, ..., Сми 
решения полученных уравнений относительно с1, ..., См 
с последующим исследованием поведения функции 6 
в окрестности найденного решения. | 

2.9. Выборочные ковариация и коэффициент корреля- 
ции. Предположим, что случайные величины Х и У при- 
няли в результате и опытов пары значений х,, и, ... 
.... Х,, И,. Чтобы найти подходящую характеристику 
‚зависимости между величинами Х и У, подберем методом 
наименьших квадратов наилучшую линейную зависимость 
У от Х вида 


у—у=с(х—х), (4) 
где х и у— выборочные средние величин Х и У соот- 
ветственно. 

Для определения коэффициента св (4) методом наи- 
меньших квадратов приравниваем нулю производную 
по с суммы квадратов ошибок во всех экспериментальных 
точках 


| в = ХУ шь-уобы- 9. 


Решив полученное уравнение относительно с, находим 
В` в (2) 


У (хв—Х) (ук 9) Е 
с= == =я У, (и—*) (%—) 
У их 
Е=1 Е 
Величина | 
*% | - ие: ра 
= У, (%— 9) (4—9) (5) 


=] 


называется выборочной ковариацией величин Х и У. 
За меру зависимости между х и У принимают безраз- 
мерную величину 


._ и вы Рху` (6) | 
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называемую выборочным коэффициентом корреляции ве- 
личин Х и?7У. 
Так как | 
п ==. Е п юм в _ п ее 
; (хи—х) (у. — 9) = ь Ау —Х — и—у У хь Пхи = 
#=] = й=| в=1 
п 


т У, ХИ, — ПХУ, 
в=1 


-4 


то формулу (5) можно переписать в виде 


п 
ит У, ды. = (7) 
К ==] : 
Этой формулой обычно и пользуются на практике. При 
этом в случае необходимости из координат всех экспе- 
риментальных точек вычитают соответствующие коорди- 
наты какой-нибудь точки, расположенной в середине 


области, занятой точками, чтобы избежать разностей 


близких величин. 
Пять чисел х, и, "а, Ри или Х, И, 0", Ра слу- 
жат грубой характеристикой распределения эксперимен- 


тальных точек на плоскости. Точно так же распределе- 


ние экспериментальных точек в т-мерном пространстве, 
полученное в результате совместного наблюдения т слу- 
чайных величин, можно характеризовать выборочными 
средними, дисперсиями (средними квадратическими от- 
клонениями) и ковариациями ОИС ЛАЫи корре- 
ляции} *). 

2.10. Гистограмма. Чтобы получить более полное 
представление о распределении экспериментальных точек, 
обычно разбивают занятую ими область на интервалы 
(прямоугольники, параллелепипеды) и вычисляют частоты 
попадания в эти интервалы (прямоугольники, паралле- 
лепипеды). Разделив эти частоты на длины интервалов 
(площади прямоугольников, объемы параллелепипедов), 
получают относительные плотности экспериментальных 
точек в соответствующих частях области, занятой экспе- 


риментальными точками. Полученное таким образом рас-_ 


*) Для вычисления выборочных средних, дисперсий, ковариаций 
и коэффициентов корреляции в «Сборнике научных: ААА на 
Фортране» [94] служит стандартная программа СОКВЕ 
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пределение экспериментальных точек можно изобразить 
графически, построив на каждом интервале прямоуголь- 
ник, высота которого равна значению относительной 
плотности экспериментальных точек в этом интервале 
(рис. 1). Полученная в результате ступенчатая кривая 
называется гистограммой. 

При. вычислении гистограммы интервалы (прямоуголь- 
ники, параллелепипеды) рекомендуется выбирать так, 


чтобы в каждом интервале было по меньшей мере 10 то- 
чек (для обеспечения этого можно брать интервалы раз- 
ной длины). Легко понять, что гистограмму можно по- 
строить только при достаточно большом числе экспери- 
ментальных точек (для одномерной гистограммы не 
меньше 100) *). 

2.11. Группированная выборка. Если одновременно 
с построением гистограммы определяются выборочные 
средние, дисперсии и ковариации, то для упрощения 
вычислений обычно считают все экспериментальные точки 
в данном интервале (прямоугольнике) совпадающими 
с его центром. Полученная таким путем новая выборка 
называется группированной выборкой. 


*). Для построения одномерной гистограммы в [94] служат про- 
а и ТАВ1, а для построения двумерной гистограм- 
мы — ТАВ2. | 
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Если пользоваться группированной выборкой, то фор- 
мулы (1) — (3), (5) и (7) можно записать в виде 


= = № ру (,—х)*= № рув—х, © (8) 


— ® ^ — -— -- 
ъ бы ,-у= ХУ ры, 
д, \=1 д, ЕТ 
где г—число интервалов, содержащих эксперименталь- 
ные точки, на каждой из осей х, у, х,,...,Х,, Уль.. И, — 
координаты центров интервалов на соответствующих осях, 
р., ..., р, —частоты попадания в интервалы оси х, а 
ри» (и, у=1,..., Г) — частоты попадания в прямоуголь- 
ники, на которые разбита плоскость хи *). 

Так же как частота события лежит в основе абстракт- 
ного понятия вероятности события, рассмотренные экспе- 
риментальные характеристики случайных величин лежат 
в основе соответствующих и. понятий теории 
вероятностей. 


$ 3. Непосредственное определение вероятностей 


3.1. Равновозможные исходы опыта. Приведенный. 
в п. 2.4 пример опыта с бросанием монеты показывает, 
что. вероятности ‘некоторых событий легко определяются 
непосредственно. Рассмотрим общую схему таких опытов. 
Допустим, что опыт имеет п возможных исходов, так что 
каждое конкретное его осуществление обязательно за- 
канчивается. одним и только одним из этих И исходов, 
причем нет никаких оснований считать, что при неогра- 
ниченном повторении опыта какой-нибудь один исход 
может появляться чаще, чем любой другой. В этом слу- 
чае вероятность каждого исхода, .очевидно, равна ]|/п, 
так как их частоты должны стабилизироваться при пов- 
торении опыта около одного и того же числа, а в сумме 
они должны дать 1. Иными словами, данный опыт имеет п 


*) Для вычисления выборочных средних, дисперсий и некоторых 
других характеристик по группированной одномерной выборке 
в [94] служит программа МОМЕМ, использующая для вычисления 
частот программу ТАВ1. 
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равновозможных исходов. В нашем примере с бросанием 
монеты таких равновозможных исходов: два — появление 
герба и появление цифры,— и вероятность каждого из 
них равна 1/2. 

3.2. Схема случаев. Допустим теперь, что при п рав- 
новозможных исходах опыта нас интересует некоторое 
событие А, связанное с т из этих п исходов так, что 
при любом из этих т исходов оно обязательно появляется 
и не может появиться ни при одном из остальных п— т 
исходов. В таком случае, как легко сообразить, вероят- 
ность события А равна отношению т/п. Принято гово- 
рить, что в данном опыте имеется и случаев и из них т 
благоприятствуют событию А. Тогда вероятность собы- 
тия А равна отношению числа случаев, благоприятству- 
ющих событию А, к числу всех равновозможных несов- 
местных случаев: Р(А) = т/п. 


Пример 1. Опыт состоит в брссании игральной кости, име- 
ющей форму куба, на каждой грани которого проставлено соответ- 
ствующее число очков от |1 до 6. В данном опыте имеется 6 случаев: 
появление одного очка, двух, трех, ‘четырех, пяти и шести. Так как 
нет никаких оснований предполагать, что, например, два очка могут 
псявляться чаще, чем пять очков; поэтому вероятность появления 
каждого данного числа очков, например двух, равна 1/6. Рассмотрим 
теперь событие А— появление четного числа очков, событие В — 
появление числа очков, кратного трем, и событие С — появление не 
меньше трех очков. Событию А благоприятствуют три случая — по- 
явление двойки, четверки и шестерки; поэтому Р (А) =3/6 =112. 
Событию В т ют два случая — появление тройки и ше- 
стерки; поэтому Р (В) =2/6 =1 /3. Ссбытию С благоприятствуют че- 
тыре случая — появление тройки, четверки, пятерки и шестерки; 
поэтому Р (С) =4/6 =2/3. 

Пример 2. В урне 10 одинаковых шаров. Из них 3 белых и 
7 черных. Шары тщательно перемешивают и после этого из урны 
вынимают один шар. Найти вероятность появления белого шара. 

В данном случае нет никаких оснований предполагать, что при 
повторении опыта какой-нибудь определенный шар будет появляться 
чаще, чем любой другой. Например, если шары пронумерованы от 
1 до 10 так, что определить номер шара на ощупь невозможно, то 
нет никаких оснований предполагать, что шар № |1 может появляться 
при повторении опыта чаще, чем шар № 2; шар № 3 ит. д. Поэтому 
в данном опыте имеются 10 возможных случаев. Из них 3 благо- 
приятствуют появлению белого шара, а 7 — появлению черного шара. 
Поэтому вероятность появления белого шара равна 0,3, а вероят- 
ность появления Черного шара равна 0,7. - 


3.3. Геометрические вероятности. В некоторых слу- 
чаях, когда опыт имеет бесконечное (несчетное) множе- 
ство равновозможных исходов, вероятности некоторых 
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событий можно определять геометрически Как отношения 
длин отрезков, или площадей, или объемов соответству- 
ющих фигур. | 


Пример 3. Поезда метро идут в данном направлении с интер- 
валом. | мин. Какова вероятность того, что пассажиру придется 
ждать поезда не больше 20 с? | 

В данном случае нет никаких оснований: считать какой-нибудь 
один момент прихода пассажира в интервале между псездами более 
вероятным, чем любой другой. Интересующему нас событию А --— 
ожиданию меньше 20 с—благоприятствуют все моменты интервала 
длительностью | мин, отстоящие от его конца меньше чем на 20 с. 
Поэтому вероятность события А можно определить как отношение 
длительнсстей двух интервалов времени: 


Р (А) =20/60 = 1/3. 


Пример 4. Самолет имеет несколько уязвимых для снарядов 
данного калибра агрегатов, при попадании в каждый из которых 
самолет выходит из” строя. При попадании в любую другую часть 
самолета он может продолжать полет. Площадь проекции самолета 
на плоскость, перпендикулярную траектории снаряда,  состав- 
ляет 100 м2. Площадь проекции уязвимых частей самолета — 12 м2. 
Рассеивание снарядов Достаточно велико для того, чтобы можно было 
считать, что при большом числе попаданий точки попадания рас- 
пределяются на проекции самолета равномерно. Найти вероятность 
поражения самолета при попадании в него одного снаряда. 

В данном случае имеется бесконечное множество равновозмож- 
ных исходов опыта — попаданий в различные точки проекции само- 
‚ лета. Допущение о равномерности распределения большого числа 
попаданий по площади проекции самолета дает сснования считать 
все возможные точки попадания в пределах проекции цели равно- 
возможными. Тогда вероятность поражения самолета при одном по- 
падании, равную вероятности того, что точка попадания придется 
на проекцию какого-нибудь уяз- 
вимого агрегата, можно определить 
как отношение площади проекции 
уязвимых агрегатов ко всей пло- 
щади проекции самолета. В ре- 
зультате вероятность — пораже- 
ния самолета при одном попада- 
нии в него будет равна 12/100 = 
—=0,12. 

Пример 5. На плоскость 
с нанесенными на ней параллель- 
ными прямыми на расстоянии 2а 
одна от другой случайно бросается 
прямолинейный отрезок длины 21. 
Найти вероятность того, что от- 
резок пересечет хотя бы одну из Рис. 42. 
прямых (задача Бюффона об игле). 

Положение отрезка относительно прямых можно характеризовать 
двумя координатами: расстоянием х его центра от ближайшей пря- 
мой, О<х=а, и углом 09 его наклона к прямым, 0<0=<л/2 
(рис. 2). Очевидно, что отрезок пересекает хотя бы одну из прямых 
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тогда и только тогда, когда х << 15110. Если рассматривать 0 их 
как прямоугольные декартовы координаты точки на плоскости, то 
область всех возможных пар (9, х) будет представлять собой прямо- 
угольник со сторонами а и п/2 (рис. 3). Событие А — выполнение 
неравенства Вы 9 — произойдет тогда и только тогда, когда 
точка (0, х) попадет в заштрихо- 
ванную сбласть, ограниченную сни- 
зу синусоидой х= [т 0 (на рис. 3 
показан случай [< а). Считая 
все положения точки (0, х) в пре- 
делах прямоугольника равноверо- 
ятными, можем вычислить искомую 
вероятность пересечения отрезка с 
одной из прямых как отношение 
площади заштрихованной области 
к площади прямоугольника. При 
[< а это даст Р (А) =2//ла. Пред- 
Рис. 3. лагаем читателю самостоятельно ре- 
шить эту задачу при Г > а. В этом 
случае можно поставить задачу определения вероятностей пересече- 
ния двух, трех и т. д. прямых. 


3.4. Вычисление условных вероятностей в схеме слу- 
чаев. Точно так же вычисляются в таких случаях ус- 
ловные вероятности. 


Пример 6. В урне 10 шаров —3 белых и 7 черных. Один шар 
вынули и отложили в сторону. Он оказался белым. Найти вероят- 
ность того, что второй вынутый шар окажется белым. 
| Пусть событие А--первый вынутый шар оказался белым, В — 
второй вынутый шар оказался белым. В данном случае нас интере- 
‘сует условная вероятность события В относительно А. Учитывая ус- 
ловие — появилось событие А, т. е. один шар вынут и он оказался 
белым, — приходим к выводу, что имеется 9 возможных случаев и из 
них 2 благоприятствуют событию В. Поэтому Р(В| А) =2/9. о 

Пример 7. Видоизменим теперь условия предыдущего примера. 
Предположим, что один шар из урны вынули и, не глядя, положили 
в другую урну. Найти вероятность того, что второй вынутый шар 
окажется белым. | 

Здесь, несмотря на то, что один шар из урны вынут, возможны 
10 случаев, так как неизвестно, какой именно шар отсутствует. Из 
них 3 благоприятствуют появлению белого шара. Следовательно, ве- 
роятность появления белого шара остается равной 3/10: Чтобы сде- 
лать это совершенно ясным, предположим, что не один, а 9 из 10 
шаров переложили, не глядя, в другую урну. В урне остался один 
шар, но он может быть любым из 10. Поэтому, несмотря на то, что 
в урне всего один шар, возможных случаев 10, а благоприятствую- 
щих появлению белого шара 3. 

Таким образом, несмотря на удаление части шаров, речь в дан- 
ной задаче идет о безусловной вероятности появления белого шара. 
Объясняется это тем, что нет никакого дополнительного условия для 
- данного опыта, вследствие чего вероятность появления белого шара 
не изменилась после удаления из урны части шаров. Условием, из- 
меняющим вероятность события, при котором она заменяется услов- 
Не) вероятностью, всегда служит появление некоторого события или 
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предположение о том, что это событие появилось. Поэтому удаления 
части шаров недостаточно для того, чтобы можно было Зафворить об 
условных вероятностях. Необходимо еще произвести наблюдение и 
определить, какие именно шары удалены из урны, или сделать пред- 
положение о том, какие шары отсутствуют. 

Пример 8. В урне 10 шаров —3 белых и 7 черных. Один шар 
из урны вынут, он оказался белым. После этого шар вернули в урну 
и все шары тщательно перемешали. Найти вероятность того, что во 
второй раз появится белый шар. | | 

В данном случае имеется вполне определенное условие — появи- 
лось событие А— первый вынутый шар оказался белым. Поэтому 
можно говорить об условной вероятности события В —второй выну- 
тый шар оказался белым. Однако число возможных случаев осталось 
равным 10, а число случаев, благоприятствующих ссбытию В, оста- 
лссь равным 3. Следовательно, в данном случае | 


Р (В! А)=Р (В) =3/10. 


$ 4. Действия над событиями 


4.1. Объединение двух событий. Объединением или 
симмой двух событий А и В называется сложное собы- 
тие, состоящее в появле- у: 
нии хотя бы одного из со- 
бытий Аи В. Объединение 
событий А и В обознача- 
ется А) В. Для несовмест- 
ных событий А и В при- 
меняется также обозначе- 
ние А-В. 

Для иллюстрации на 
рис. 4 показано объедине- | 
ние двух событий А и В | Рис. 4.. 
для случая, когда событие 
Апредставляетсобой попадание случайной точки в область, 
обозначенную буквой А, а событие В — попадание в об- 
ласть, обозначенную буквой В. Событие АЦВ в этом 
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случае представляет собой попадание в область, граница 
о бен жирной линией. На рис. 4 показан 
случай, когда области А и В имеют общую часть (пере- 
секаются), т. е. когда события А и В совместны. На 
рис. 5 и 6 показаны случаи, когда области А и В не 
пересекаются, т. е. когда события А.и В несовместны. 

4.2. Пересечение двух событий. /Гересечением или про- 
изведением двух событий А и В называется их совмест- 
ное появление. Пересечение событий ДиВ обозначается 
АПВ или, короче, АВ. 

На рис. 4. дана иллюстрация пересечения событий А 
и В в случае, когда событие А представляет собой по- 
падание в область А, а событие В— попадание в об- 
ласть В. Пересечение АВ событий А и В представляет 
собой попадание в отмеченную двойной штриховкой общую 
часть областей Аи В. | 

Приведенные определения объединения и пересечения 
событий легко распространяются на любое число событий. 

4.3. Объединение и пересечение любого множества со- 
бытий. Объединением или суммой множества событий А,, 


5Е5, которое обозначается Ц А, или р А, (для не- 
$ЕЗ 


совместных событий), называется ЕН хотя бы од- 
ного из событий А,, $Е5. 
_ Пересечением или произведением множества событий 


А,, $5Е5, которое обозначается п, А,, называется сов- 
56 


местное появление всех этих событий. — 

Множество 5 значений индекса $ в этих определениях 
может быть конечным, счетным или несчетным.` 

Если, например, событие А; представляет собой по- 
падание случайной точки в интервал ы $ 1) числовой 


оси, а $3— конечное множество {0, 1/2, 1, 3/2, 2}, то и: 
р | $6 


представляет собой попадание в конечное объединение 
интервалов | 


(0, 1) 0 (1/2, 3/2) Ц (1, 2) Ц (3/2, 5/2) Ц (2, 3}, 


‘т. е. в интервал (0,3). Если $ —счетное множество 
{2-2} 5-х то 9 А, представляет собой попадание в счет- 
ное а интервалов и (2-Р, 2-Р-- 1), т. е. в ин- 
тервал (0, 2). Наконец, если. `$— интервал (0, 1/2), то 
30 


КРЕТИ ИЕ РЫрИКИТРЕЗУВЕт р =- 


И А, представляет собой попадание в несчетное объеди- 
$ЕЗ 
нение интервалов ($, 5-1) при всех $Е (0, 1/2), т. е. 
в интервал (0, 3/2). Ре 

4.4. Свойства объединений и пересечений. Операции 
объединения и пересечения событий обладают рядом 
свойств, аналогичных свойствам сложения и умножения 
чисел. Например, объедичение и пересечение событий ком- 
мутативны: — | 


АЦиВ=ВиЦА, АВ=ВА. 


Объединение и пересечение событий ассоциативны: 


(Аив)иС=Ац(Вис)=(Ауб)иВ=АЦВИС, 
(АВУС-=А(ВС)= (АС) В=АВС. 


Наконец, объединение и пересечение ссбытий дистрибу- 
тивны: | 
(АЦВ)С=АСЦи ВС. 


Все эти свойства непосредственно следуют из опре- 
делений объединения и пересечения событий. Так, (А 0 В)С_ 
представляет собой совместное появление события С с со- 
бытием А, или с событием В, или с А и В вместе. Со- 
бытие АСИВС тоже состоит в появлении или С вместе 
с А, или С вместе с В, или С вместе с АВ. 

Однако не все законы сложения и умножения чисел 
справедливы для объединения и пересечения событий. 
Так, например, события АЦА и АА, очевидно, совпа- 
дают с А. Следовательно А] А=АА= А для любого 
события А. | о 

4.5. Противоположные события. Для дальнейшего 
изучения действий над событиями необходимо ввести еще 
понятие противоположных событий. | 

Событием, противоположным событию А, называется 


непоявление А, которое обозначается А. 
Легко видеть, что событие А противоположно собы- 
тию Д: | 


А=А. 
Примерами противоположных событий могут служить 
попадание и промах при выстреле, отказ прибора в дан- 


ном интервале времени и его исправная работа в том же 
интервале времени. 


Е 


Очевидно, что противоположные события несовместны, 
а их объединение представляет собой достоверное событие: 


ДА=о, - АцА=5, 
Ясно также, что | 
Аиб=А, Ард=б, Ац®=®, ДОЗА. 


4.6. Свойства действий над событиями. Легко видеть, 


что для любых событий Аи В событие АПВ противо- 
положно событию АВ: | 


о АЦВ= АВ. 
Действительно, АВ есть появление хотя бы одного из. 


событий А и В, что равноценно непоявлению АВ. И 
вообще для любого множества событий А,, $Е5, 


Событие АВ представляет собой совместное появле- 


ние Д и В, т.е. противоположно появлению хотя бы 
одного из событий А или В: 


АВ-АЦВ. 


И вообще для любого множества событий А., $Е5, 


Носледние четыре формулы выражают принцип 
двойственности: операции объединения и пересечения 
меняются местами при переходе к противоположным со- 
бытиям. 

Из установленных свойств операций пересечения и 
объединения следует, что для любых событий Аи В 


А=А9-=А(ВИВ)=АВИЦАВ. | (9) 


Эта формула дает разложение любого события А на два 
непересекающихся события. 

Если событие А обязательно происходит при появле- 
нии некоторого другого события В, то говорят, что со- 
бытие В представляет собой часть или подсобытие со- 
бытия А и`пишут ВСА или АЗВ. 

Если события А и В могут появиться или не по- 
явиться только вместе, т. е. ВсА и АСВ, то они на: 
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зываются эквивалентными, что обозначают равенством 


А=В. 
Если ВСА, то АВ=В и формула (9) принимает вид 


А=ВиАВ. | | (10) 


4.7. Элементарные события. Читатель, знакомый с эле- 
ментами теории множеств, легко заметит, что операции 
над событиями тождественны операциям над множест- 
вами. Эта аналогия между событиями и множествами 
объясняется тем, что каждое событие связано с опреде- 
ленным множеством исходов опыта так, что ‘оно обяза- 
тельно происходит при появлении одного из исходов, 
принадлежащих этому множеству, и не происходит при 
появлении одного из исходов, не принадлежащих этому 
множеству. Так, например, в схеме случаев п. 3.2 со- 
бытие представляет собой объединение всех благоприят- 
ствующих ему случаев. В схеме геометрических вероят- 
ностей п. 3.3 исходом каждого опыта является попада- 
ние в определенную точку, а каждое событие представ- 
ляет собой попадание на определенное множество точек. 

Чтобы поставить эти факты на строгую математи- 
ческую основу, вводят понятие элементарного события. 

Элементарным событием называется событие, не со- 
держащее никаких подсобытий, кроме невозможного 
события и ‘самого себя. Иными словами, элементарное 
событие представляет собой событие, которое не разде- 
ляется на несовместные события, ни одно из. которых 
не является невозможным. 


$ 5. Аксиомы теории вероятностей 


`5.1. Пространство элементарных событий. Мы пришли 
к понятию вероятности, отправляясь от понятия частоты 
события. Поэтому естественно считать, что вероятности 
должны обладать всеми свойствами частот, вытекающими 
из их определения. Для вероятностей эти свойства в об- 
щем случае не могут быть выведены *). Поэтому основ- 
ные свойства вероятностей при ходитея принять как ак- 
сИОМЫ. 

На основании изложенного в $ 2 и 4 мы приходим 
к следующей модели случайных явлений. С данным опы- 


*) Для вероятностей эти свойства можно вывести только ‘в част- 
ном случае конечного числа равновозможных несовместных исходов 
опыта, рассмотренном в п. 3.2. 
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том связано некоторое множество элементарных событий, 
так что в результате опыта обязательно появляется одно 
и только одно элементарное событие. Кроме того, с дан- 
ным опытом связано некоторое множество событий, для 
которых определены вероятности. | 

Множество всех элементарных событий, связанных 
с данным опытом, называется пространством элементар- 
ных событий и обычно обозначается ©. При этом любое 
элементарное событие —точка пространства 2 — обозна- 
чается буквой ©. 

Каждое событие представляет собой некоторое мно- 
жество элементарных событий. В частности, любое эле- 
 ментарное событие ® представляет собой множество, со- 
стоящее из одного элемента (одноточечное множество). 
Достоверное событие представляет собой множество всех 
элементарных событий &. Невозможное событие пред- 
ставляет собой пустое множество ©. 

_ 6.2. Поле событий. Множество событий, для которых 
определены вероятности, будем называть полем событий 
и обозначать «7. 

Чтобы принятая модель случайных явлений могла 
служить для построения теории’ вероятностей, поле со- 
бытий % должно обладать определенными свойствами. 

Во-первых, если вероятность определена для некото- 
рого события А, то естественно потребовать, чтобы она 


была определена и для противоположного события А. 
Следовательно, множество « должно содержать вместе 
с любым входящим в него событием А и противополож- 


ное событие АД, т. е. если АЕФХ, тои АДЕФ. 
_ Во-вторых, если вероятность определена для некото- 
рых событий А и В, то естественно потребовать, чтобы 
она была определена и для их пересечения АВ, чтобы 
можно было определить условные вероятности. Поэтому 
множество $’ должно содержать наряду с любыми двумя 
входящими в него событиями А и В и их пересечение 
АВ, т. е. если А,ВЕФ,, тои АВЕФХ. | 
Множество событий, обладающее перечисленными дву-. 
мя свойствами, называется алгеброй событий. Таким об- 
разом, поле событий «7 должно быть алгеброй событий. 


Изучим основные свойства поля событий, вытекающие 
‚из его определения как алгебры событий. 


Пусть’ А и В— любые два события, принадлежащие 
полю $. По определению противоположные события А 
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и Ви их пересечение АВ также принадлежат полю $7. 
Но тогда и событие АВ, противоположное событию АВ, 
принадлежит полю $. Но событие, противоположное пе- 


ресечению АВ, согласно принципу двойственности совпа- 
дает с объединением событий, противоположных событиям 


ДА иВ, т.е. с событием АЦВ, АВ=АЦВ. Следова- 
тельно, поле о? содержит наряду с любыми двумя вхо- 
дящими в него событиями А и Виих объединение А | В. 

Из этого свойства следует, что поле событий ©’ со- 
держит достоверное событие ®. Действительно, для любого 


события АЕ% и ДЕХ. Следовательно, и АЦА=ФЕФХ. 

В силу ассоциативности операций пересечения и объ- 
единения событий поле событий « содержит любые ко- 
нечные пересечения и объединения входящих в него со- 
бытий. 

Наконец, поле о’ содержит невозможное событие © 
как противоположное достокерному событию @. 

Рассмотренные свойства поля достаточны для боль- 
шей части применений теории вероятностей. Однако для 
решения некоторых сложных задач, выдвигаемых прак- 
тикой, необходимо потребовать, чтсбы поле событий «7 
обладало еще одним свойством, а именно оно должно 
содержать не только конечные, но и все счетные объеди- 
нения входящих в него ‚событий, т. е. 


И А,ЕФ, если А, Е (Е =1,9, ...)}.. 


Алгебра событий, обладающая таким свойством, назы- 
вается ов-алгеброй или борелевским полем событий. 

Очевидно, что о-алгебра содержит также все счетные 
пересечения входящих в нее событий. Это непосредственно 
вытекает из принципа двойственности для случая счет- 
ного множества событий. | 

В простейших ‘задачах п. 3.2 все элементарные со- 
бытия принадлежат полю событий &. В общем случае 
поле событий может содержать, а может и не содержать 
элементарные события. 

5.3. Аксиомы. Перейдем к основным аксиомам теории 
вероятностей. 

Аксиома 1. Каждому событию А Е $? соответствует 
неотрицательное число —вероятность этого события Р (А). 
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Аксиома 2. Вероятность достоверного события 
равна 1: Р(0)=1. 

Аксиома. 3 (аксиома сложения вероятностей). Ве- 
роятность объединения несовместных событий р сумме 
их вероятностей: 


(6 4,)= ХР если А,А, == © при Е--й. (11) 
1=1 {2 | | 


Это справедливо как для конечного числа событий 
т. Е: 0: для счетного множества событий А, 
(при И = оо) *). 

Для простейших задач теории ` вероятностей, к кото- 
рым относятся, в частности, все задачи с конечным мно- 
жеством равновозможных исходов опыта, рассмотренные 


_ ВП. 3.2, достаточно принять аксиому сложения вероят- 


ностей только для любого конечного множества событий 
А, ..., А,. Однако уже для задач с геометрическими 
| вероятностями, рассмотренных в п. 3.3, несмотря на их 
простоту, необходимо принять аксиому сложения веро- 
ятностей для любых счетных множеств событий {А\. 

`Построение теории вероятностей на основе сформули- 
рованных трех аксиом принадлежит А. Н. Колмогорову, 
работы которого положили начало созданию современной. 
теории вероятностей как строгой математической науки 
[39, 40]. 

5.4. Вероятность как функция множества — мера. Го- 
скольку каждое событие А Ех’ представляет собой мно- 
жество элементарных событий, вероятность Р(А) пред- 
ставляет собой функцию множества А, определенную на 
поле множеств ©’. | 

Функции множества, обладающие свойством (11) при 
всех конечных п, называются аддитивными. Функции 
множества, обладающие свойством (11) при И = оо, на- 
зываются счетно-аддитивными или, короче, о-аддитив- 
ными или мерами. Любая в-аддитивная функция мно- 
жества является аддитивной, однако не всякая аддитив- 
ная функция множества с-аддитивна. 


*) Ясно, что свойство сложения частот справедливо только для 
конечного числа событий А|, ..., Аи, так как при любом конечном 
числе опытов может появиться только конечное число несовместных 
событий. Распространение соответствующего свейства вероятностей 
на счетное множество событий необходимо для построения достаточно 
общей теории, охватывающей все задачи, встречающиеся на практике, 
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В силу аксиом 1 и 3 вероятность Р(А) представляет 
собой неотрицательную о-аддитивную функцию множе- 
ства, т. е. неотрипательную меру. 

5.5. Вероятностное пространство. Пространство эле- 
ментарных событий @ с заданной в нем алгеброй или 
а-алгеброй множеств $ и определенной на $’ вероят- 
ностью — неотрицательной мерой Р (А), АЕФ,, называется 
сероятностным пространством и обозначается (©, «7, Р). 
Таким образом, математической моделью любого случай- 
ного явления в современной теории вероятностей служит 
вероятностное пространство. 

Соответствие между событиями некоторого множества 
событий и их вероятностями обычно называют. расп реде- 
лением вероятностей. Таким образом, вероятность Р(А) 
как функция множества ДЕФ определяет распределение | 
вероятностей на оР. * | 

Пример 9. В любой задаче определения геометрических веро- 
ятностей прсстранетвом элементарных событий ® служит множество 
всех точек соответствующего пространства (в частности, прямой или 
плоскости), в которые возможно попадание. Так в примере 3 @ есть 
_ интервал (0, 60с), в прАмере 4 @ есть проекция самолета на плос- 
кость, перпендикулярную траектории снаряда, в примере 5 & `есть 
прямоугольник, образованный интервалом [0, а] на оси х и интер- 
валом [0, л/2] на оси 09. Полем _оФ в этом случае служит множество 


всех подмножеств А. множества 2, имеющих меру (длину, площадь, . 
объем). Вероятность Р (А) определяется формулой 


Р (А) =ч(А)/о (8), 


где (А) И ие Же (длины, площади, объемы) множеств (частей 
пространства) А и © соответственно. 


_ 


’Распределение вероятностей можно определить веро- 
ятностями всех элементарных событий только в случае 
конечного или счетного множества элементарных собы- 
тий. В большей же части задач, в частности в простей- 
ших задачах определения вероятностей попадания в раз-. 
личные части того или иного пространства, множество 
элементарных событий несчетно, причем, как правило, 
ни одно из них не может считаться существенно «более 
вероятным», чем любое другое. Вследствие этого веро- 
ятности всех элементарных событий в таких случаях 
равны нулю и потому ни в какой мере не определяют 
распределение вероятностей. Именно поэтому распреде- 
ление вероятностей в общем оне определяется функ-. 
-цией множества Р(А). 

Рассмотренная модель охватывает все задачи совре- 
менной ‘теории вероятностей. В каждой вероятностной 
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задаче можно определить некоторое вероятностное про- 
странство. Правда, пространство элементарных событий 
часто оказывается очень сложным. Однако для развития 
теории вероятностей и для ее приложений конкретная 
структура пространства элементарных событий не су- 
щественна, вследствие чего можно не задавать это про- 
странство в явном виде, а ограничиться лишь предпо- 
ложением о его существовании. 

Понятие вероятностного пространства дает возмож- 
ность положить в основу построения теории вероятнос- 
тей методы теории множеств, теории меры и функцио- 
нального анализа. В частности, все выводимые дальше 
свойства. вероятностей и многие другие, которыми при- 
ходится пользоваться для построения более сложных 
разделов теории вероятностей —теории случайных функ- 
ций и др., непосредственно вытекают из общих свойств 
меры. 

5.6. Свойства вероятностей. Изучим теперь свойства 
вероятностей, вытекающие из аксиом. 

Так как невозможное событие 2 несовместно с любым 
другим событием А, Ай= ©, то из (11) следует, что 
Р(АЦб)=Р(А)--Р(9). С другой стороны, так как 
Аи 0=А (добавление невозможного события не изменяет 
события А), то Р(АЦ О)=Р (А). Следовательно, Р (©)=0, 
т. е. вероятность невозможного события равна нулю. 

Если Ве А, то, представив А разложением (10) на 
два несовместных события, А=В-- АВ, получим в силу 
(11) Р(А)=Р(В)-+ Р (АВ), откуда следует, что Р(В) < 
< Р(А). 

Таким образом, если событие В может произойти 
только вместе с событием А, то вероятность события В 
не может быть больше вероятности события А. 

А так как любое событие А может произойти. только - 
_ вместе с достоверным событием ®, А=АФсО, то ника- 
кое событие не может иметь вероятность, большую ве- 
роятности достоверного события, т.е. |. Таким образом, 
вероятность любого события принадлежит интервали |0, 1]: 


0<Р(А) < 1. 


Представив объединение совместных событий А,, 
..., А, В виде объединения несовместных событий: 


‚0 Ар = А, 0 А, А, А, А, А, Ц... ОА, А... 


п-1 
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‚получим на основании (11) 
Р( ба, = РАО Р(А.Л)-+ РАЗА): 
РА ый. № 9) 


А так как 

п и Ри о 
то 

а о 


и мы получаем 
п \ & 
Р( бл.) < УРАр (13) 
1=1 / 1=1 


Это неравенство, называемое свойством полуаддитивности 
вероятности, справедливо для любого конечного или 
счетного множества событий {А,} (т.е. как при конеч- 
ном п, так и.при П= о). — 

Представляет интерес вычислить вероятность объеди- 
нения совместных событий. Применяя формулу (12) для 
двух событий А, =Аи А,=В, получим 


Р(АиВ)=Р(А)-+- Р(ВА). 


С другой стороны, на основании (9) В=ВАЦ ВА, и, 
следовательно, | | 


Р(В)=Р(АВ)-+Р(ВА). ° 


Определив отсюда Р(ВА) и подставив в предыдущее _ 
_ равенство, получим 


Р(АиВ)=Р(А)1Р(В)—Р(АВ). 


Таким образом, мы доказали теорему сложения веро- 
ятностей: вероятность объединения любых двух событий 
равна сумме их вероятностей минус вероятность их пе- 
ресечения. | 

Предоставляем. читателю самостоятельно вывести со- 
ответствующую формулу для вероятности объединения 
любого числа совместных событий (применив, например, 
метод индукции). 

5.7. Полная группа событий. Совокупность, событий 
{А,} (конечная или счетная) называется полной группой 
ое если хотя бы одно из них обязательно появ- 
ляется в результате опыта. Иными словами, события 
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А,,..., А», П < оо, образуют полную группу, если их 
объединение есть достоверное событие: ЦА, =. 
Из аксиомы сложения вероятностей следует, что если 


события А!, ..., А, несовместны и образуют полную 
группу, то сумма их вероятностей равна единице: 
х Р(А;) =1. (14) 


Противоположные события несовместны и образуют 
полную группу. Поэтому из (14) следует, что сумма ве- 
роятностей противоположных событий равна единице: 


Р(А)-ЕР(А)= 1. (15) 


Эта формула очень важна для практики. Во’ многих за- 
дачах вероятность интересующего нас события трудно 
вычислить, в то время как вероятность противополож- 
ного события вычисляется очень легко. В таких случаях 
формула (15) дает вероятность интересующего нас со- 
бытия. =» 


$6. Условные вероятности _ 


6.1. Условная вероятность. Свойство умножения частот 
дает естественный способ определения условной вероят- 
ности. 

Условной вероятностью Р(А|В) события А относи- 
тельно события В в случае, когда Р(В)=-=0, называется 
отношение вероятности пересечения событий Ди Вк 
зероятности события В: 
| Р (АВ) | 

При таком определении условной вероятности теорема 
умножения частот, очевидно, распространяется и на ве- 
роятности: 


Р(АВ) =Р (АР(В1А)ЕР(В)Р(А|В). . (17) 


Таким ‚образом, вероятность совместного появления двух 
событий равна вероятности одного ‘из них, умноженной 
на условную вероятность другого. 

Из определения (16) следует, что условные вероят- 
ности различных событий относительно одного и того же 
события В, Р(В)==0, удовлетворяют аксиомам 1,2 и 3. 
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Следовательно, вся развиваемая дальше теория Сира. 
ведлива и для условных вероятностей. 
Из (17) следует, что вероятность совместного появле- 
ния любого числа событий равна вероятности одного из 
них, умноженной на условную вероятность другого отно- 
сительно первого, на условную вероятность третьего от- 
носительно пересечения двух первых и т.0., на условную 
вероятность последнего относительно. пересечения всех 

предыдущих: 


Р(А,А,.. АОРИОРИИА А А,| А. А,).. 
А, А, А,. Ана). (18) 


Это следствие легко выводится из (17) по индукции. 


Пример 10. В Уре 12 шаров —5 белых и 7 черных. Из урны 
вынимают два шара. Найти вероятность того, что оба шара окажутся 

белыми. 

Введем события: А — первый (или условно считающийся первым, 
если шары вынимаются одновременно) шар бзлый, В — второй шар 

белый. Тогда будем иметь 


Р (А) =Р (В) =5/12, а 
и по формуле (17) 


Пример 11. В урне 16 шаров—5 белых, 7 черных и 4 крас- 
ных, Найти вероятность того, что среди вынутых из урны четырех 
шаров первый будет белым, второй —черным, а остальные. два. — 
красными. 

Введем события: А, —первый шар белый, А›— второй шар чер- 
ный, Аз—третий шар красный, А.— четвертый шар красный. Тогда 
‚получим 


Р(А,)=5/16, РСА А) =7/1Б, Р(Аь| А.А) = 4114, 
— Р (А | А.А, Аз) =3113. 
и по Формуле (10) 
=2. а “. 3 


‚ Чтобы убедиться, что эта вероятность не зависит от того, в каком 
порядке берутся события, возьмем эти события в ‘другом порядке, 
например Аз, А., А4, Ао. Тогда получим 
Р (Аз Аз я)  —= 3/14, Р (А. | АзА. А‚) =7/13, 
53.7 | 


РА = 114 В -". 


Пример 12. В теории надежности функцией надежности ‘или 
просто надежностью р (Р) обычно называют вероятность исправной 
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Е. 
18— 104 


работы прибора от момента #=0 до текущего момента #. В качестве 
исходной характеристики `прибора при этом принимают интенсив- 


ность отказов : 
‚РЕД И) 
А = Пт ——, 
А 1-0 | ГА 


представляющую собой предел отношения условной вероятности от- 
каза прибора, исправно работавшего до момента Ё в интервале вре- 
мени (1, #- ДЮ, к величине этого интервала ДЁ при АЕ —+ 0. Интен- 
сивность отказов А определяется экспериментально, по крайней мере 
для простейших элементов и блоков. Задача состоит в том, чтобы, 
зная интенсивность отказов как функцию времени ^=А (1), найти 
функцию надежности р (1). 

Для решения задачи назовем отказ прибора в интервале времени 
(1, (-АР событием А, а его исправную работу до момента #—со- 
бытием В. Исправную работу прибора до момента #-- АЁ назовем 
событием С. Событие С можно выразить через события Аи В. Для 
того чтобы система исправно работала до момента &-- ДЁ, необхо- 
димо, чтобы она работала исправно до момента { и чтобы она рабо- 
тала исправно в интервале времени от Ё до #-- ДЁ. Следовательно, 
событие С представляет собой. пересечение двух событий: события В 


и события, противоположного событию А, т.е. С=ВА. Отсюда на 
основании (17) следует, что | 


Р(С)=Р (В)Р (АВ). (1) 


Но Р (В) как вероятность исправной работы системы до момента # 
представляет собой искомую функцию надежности р (1: 


Р(В)=р (0. (п) 


Вероятность Р (С), т. е. вероятность исправной работы системы до 
момента #-- ДТ, представляет собой значение той же функции на- 
дежности в момент #-- АЕ: 


Р©=Р (ЕТ АВ. (11) 


Наконец, Р(А|В) представляет собой условную вероятность 
отказа системы в интервале времени (1, #- ДЮ, которая выражается 
‚ через интенсивность отказов системы А формулой 


Р (А|В)=Р (1 4] =^ АЕ-Но (АВ, 
где о (41), как всегда, означает бесконечно малую высшего порядка 
по сравнению с Дё. Применяя для вычисления условной вероятности 
противоположного события А формулу (15), найдем | 
Р(А| В) =1—^ ДЕ-Ро (АВ. (1\) 
Подставляя выражения (11), (ПТ) и (У) в (Г), получим. 
р (#-- А =р (1 (1—^ Ао (АЙ. 


Теперь остается раскрыть в правой части полученного равенства 
скобки, перенести р (ГР) налево, разделить все члены на ДЁ и перейти 
к пределу при ДЕ —+0. При этом слева получим производную р’ (1). 
В результате получается дифференциальное уравнение для функции 
надежности 


р’ (В =— Ар (1). (У) 
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В качестве начального условия ‘естественно принять условие, что 
система начинает работать в исправном состоянии, т.е. р (0) =1. 
Дифференциальное уравнение (У) и начальное условие р (0) =1 
полностью определяют искомую функцию надежности р (1. 

Легко проверить непосредственной подстановкой, что интеграл. 
уравнения (У), равный единице в начальный момент, определяется 
формулой 


ри ехр [- Аать. (УГ 


_6.2. Зависимые и независимые события. Два события. 
называются независимыми, если появление одного из них 
не изменяет вероятности другого, или, иными словами, 
если появление одного из них не содержит никакой 
информации о другом. 

События А и В называются зависимыми, если появ- 
ление одного из них изменяет вероятность другого. 

Для независимых событий Аи В 


Р(А!В)-Р(А), Р(В!А)-Р(В. = (19) 


Действительно, вероятность события А, когда известно, 
что В произошло, есть условная вероятность А относи- 
‘тельно В. Если при появлении события В вероятность 
события А не изменяется, то это означает, что условная 
вероятность события А относительно В совпадает с ве- 
роятностью события А, которую, в отличие от условной 
вероятности, называют безусловной. 

Очевидно, что для независимости событий А и В до- 
статочно одного из двух равенств (19); второе автомати- 
чески будет выполнено в силу (17). 

Для зависимых событий Аи В 


Р(А|В)==Р(А), Р(В|А)==Р(В). (20) 


Очевидно, что два несовместных события А и В всегда 
зависимы, так как появление одного из них исключает 
другое, вследствие чего Р(А|В)=Р(В]А) = 

События 4,, ..., А, называются независимыми, если 
каждое из них не зависит от каждого из остальных и’ 
от всех возможных их пересечений. 

Заметим, что для независимости событий А;, ..., А„ 
их попарная независимость необходима, но не достаточна. 


Пример 13. Пусть А и В— произвольные независимые собы- 
тия, вероятности которых равны 1/2, и С = АВ АВ. Очевидно, что 
Р(С)=Р (АВ)--Р (АВ) =Р (А)Р (В)--Р(А)Р (В) =1/2, 

Р (С|]А)=Р (В) =1/2, Р(С|В)=Р (А) =1/2. 
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Таким образом, А, В и С попарно независимы. Однако Р (С1 АВ) =1, 
так как если происходит событие АВ, то происходит и С. Следова- 
тельно, события А, В и С зависимы. Предлагаем читателю само- 
стоятельно вычислить остальные условные вероятности в этой задаче. 


6.3. Теорема умножения вероятностей для независи- 


мых событий. Рассмотрим случай независимых событий. 


аа | 

№» Если события Д., ..., А, независимы, то события А, 
и 4,4,...А,_, независимы, события А, и 4А,А,...А,_. 
независимы, и так далее, события А, и А.А, незави- 


симы, и, наконец, события А, и А, независимы. Поэтому. 


РА Аа) РДА,), 
РА А: * Ян) =Р (А,-1), 


Р(А, | А, А,) =Р(А.), 
Р(А,| Л,) =Р(А,), 
и формула (18) принимает вид 


Р(А,А,...А,)=Р(А,)Р(А,)...Р(А,). 9 (20. 


Таким образом, вероятность пересечения независимых 
событий равна произведению их вероятностей. 


Пример 14. Вероятность попадания в цель при сбрасывании 
одной бомбы равна р=0,1. Найти вероятность попадания в цель 
хотя бы одной бомбы, если бомбометание по цели производят 10 са- 
молетов, каждый из которых сбрасывает одну бомбу. 

Пусть событие В представляет собой попадание хотя бы одной 


бомбы. в цель. Противоположное событие В представляет собой не- 


попадание ни одной бомбы. В данном примере попадания в цель 
разных бомб можно считать независимыми событиями, так как каж- 
дый самолет осуществляет бомбометание независимо от других. Сле- 
довательно, на основании формулы (21) вероятность того, что ни 
одна бомба не попадет`в цель, равна 


Р (В) =(1— р)". 
Для определения искомой вероятности Р (В) попадания хотя бы 


одной бомбы в цель теперь достаточно воспользоваться формулой (15), 
связывающей вероятности противоположных событий: . 


Р (В) =1—(1— р) ==1— 0,919 = 0,63. 


Непосредственное вычисление этой вероятности, как мы увидим в 
п. 8.4; очень сложно. | 


Пример 15. В урне 12 шаров —5 белых и 7 черных. Из урны. 


вынимают один шар, отмечают его цвет и возвращают в урну. После 
этого шары тщательно перемешивают и из урны вынимают второй 
шар. Найти вероятность того, что оба раза появится белый шар. 

В данном случае, поскольку после первого вынимания шар воз- 
вращают в урну, информация о поятллении белого шара при первом 
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вынимании не изменяет вероятности появления белого шара при сле- 
дующем. Поэтому события А (появление белого шара в первый раз) 
и В (появление белого шара во второй раз) независимы и вероят- 
ность их совместного появления равна о ВеЯНОСтЕЕ: 


5 __.25 
12 144’ 


Пример 16. В урне 16 шаров —5 белых, 7 черных и 4 крас- 
ных. Из урны 4 раза вынимают по одному шару, возвращая каждый 
раз шар в урну. Найти вероятность того, что первый шар будет 
белым, второй —черным, а третий и четвертый — красными. 

В данном случае события А; — первый шар белый, А, — второй 
шар черный, Аз— третий шар красный, А. —четвертый шар красный 
независимы. Поэтому 


5 
Р (А. АзАзАа) р 


Р(АВ)=Р р (А) р (Вт. 


$ 7. Вероятности сложных событий 


7.1. Формула полной вероятности. Предположим, что 
с данным опытом связана полная группа несовместных 
событий Н,, ..., Н„, вероятности которых Р(Н;) (= 
=]|,..., п) известны. Нас интересует событие А, для кото- 
рого известны условные вероятности Р(А|Н;) (1=1,.. . п) 
относительно всех событий Н;, ..., Н„. Требуется найти 
вероятность события А. 

№ Эта задача решается очень просто. Поскольку собы- 
тия Н:, ..., Н»„ образуют полную группу, их объединение 
есть достоверное событие. Событие А может появиться 
только вместе с каким-нибудь событием Н,. Таким об- 
разом, событие А есть объединение событий АН|,..., АН,. 
Так как события Н,,..., Н„ по условию несовместны, 
то события АН,, ..., АН. тоже несовместны, и мы можем 
применить аксиому .сложения: 


Р(А=Р( т Ан, )= ХУ Р(АН). 

\= Ь | 

Отсюда, пользуясь формулой (17), получаем 
Р(А) = О Р(НОР(А|Н,. 4 _ (2) 


Итак, вероятность события А равна сумме вероят- 
ностей событий Н!, ..., Н,, умноженных на соответст- 
вующие условные вероятности события А. 
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Формула (22) называется формулой полной вероят- 
‘ности. Она широко применяется в теории вероятностей 
и в ее приложениях. 


Пример 17. На эксплуатацию приходят однотипные приборы, 
выпускаемые тремя заводами в пропорции П: :По:Из (т. е. на каждые 
п: приборов, выпускаемых первым заводом, приходятся п. приборов, 
выпускаемых вторым заводом, и пз приборов, выпускаемых третьим 
заводом). Предположим, что марка завода на приборах отсутствует 
и что интенсивность отказов (постоянная) для приборов первого 
завода равна А:, для приборов второго завода—А› и для приборов 
третьего завода — Аз. Найти функцию надежности данного прибора. 

В данной задаче имеем три несовместных события, образующих 
полную группу: 

Н,— данный прибор выпущен первым заводом, 

Н— данный прибор выпущен вторым заводом, 

Нз— данный прибор выпущен третьим заводом. 

Вероятности этих событий легко определяются: 


Е ЗЕ #=1,2,3). 
а = тт ( ) 
Условные вероятности интересующего нас события ВИ 
работы прибора до момента {— относительно событий Ну, Но, Нз 
“легко определяются по формуле (УГ) примера 11: 


Р(А!Н,) =е-№!, Р(А|Н,) =е“^№!, Р(А| Н:) =е- №". 


Пользуясь формулой полной вероятности (22), находим вероятность 
исправной работы прибора до момента { (т.е. искомую функцию 
надежности прибора): 
пе м пе ^! - пзе-^з 
О о Вет Зам «ВИНЕ 
пп Из 

Пример 18. Цель (например, самолет) может быть поражена 
огнем авиационных пушек при попадании в нее одного, двух, трех 
и т. д. снарядов. Найти вероятность поражения цели очередью из 
п снарядов, если известны вероятности попадания в нее одного, 
двух и т. д., п снарядов Рш,и (т=1,..., п) и условные вероят- 
ности поражения цели при попадании в нее одного, двух и т. д. 
п снарядов С (т) (т=1, ..., п). | 

В данном случае имеем п-- 1 несовместных событий, ‚образующих 
полную группу: 

Н:— попадание в цель одного снаряда, 

Н.— попадание в цель двух снарядов, 

Н,— попадание в цель п снарядов, 

Н»+1— непопадание в цель ни одного снаряда. 

Вероятности событий Н!, ..., Ни по условию известны: 


Р (Нт) = Ра, п (т=1,‹.., П). 


Вероятность события Ни+1 ‘может быть найдена по формуле (14), 
связывающей вероятности несовместных событий, ру юЩих пол- 


ную группу: 
Р (Ни+1) =1— Ру, — Ра,п-—...— Ри, п. 
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По условию известны также условные вероятности интересующего 
нас события А — поражение цели — относительно событий Н\,..., Ни: 


Р (А Нп) = С (т) (т=1,..., П). 


Условная вероятность события А относительно Ни+1, очевидно, рав-. 
на нулю, так как цель не может быть поражена при отсутствии 
попадания в нее; Р (А | Н,-+1:)=0. Следовательно, вероятность пора- 
жения цели может быть вычислена по формуле полной вероятности (22): 


# ь 


п-+1 п 


Р (А) = У, Р (Нт)Р (А]Н») = У 2, б (т). 
| т=1 ТЕТ. 


7.2. Формула Бейеса. В задачах практики нас часто 
интересует полная группа несовместных событий Ну, ... 
..., Н»», вероятности которых Р(Н;) (1=1,..., п) извест- 
ны. Эти события непосредственно не наблюдаемы, но можно 
наблюдать некоторое событие А, с ними связанное, для 
которого известны условные вероятности Р(А|Н;) (= 
=],..., И). Допустим, что произведен опыт, в результате 
которого появилось событие А. На основании этого опыта 
требуется сделать выводы относительно событий Ну, ... 
..., НТ. е. определить, как изменились их вероятности 
после произведенного опыта. Иначе говоря, нужно найти. 
условные вероятности событий Н|!,..., Н„ относительно 
события А. 

№» На основании теоремы умножения вероятностей. (17) 


Р(АН,) =Р(А)Р(Н,|А)=Р(Н,) Р(А[Н,,).. 
Отсюда следует _ 
Р (Нь)Р (АН 
РН, | А) =. 


Подставляя сюда выражение вероятности события А из. 
формулы полной вероятности (22), получим 


РАН, А) = РР (-1,.,., п). 4 (23) 


п 

РВ (НОР (А]Н)) 

Р=1 
Эта формула обычно называется формулой Бейеса. Она 
решает поставленную задачу. 

Вероятности Р(Н,) (к =1,..., п) интересующих нас 
событий Н,,..., Н, до опыта обычно называются апри- 
орными вероятностями от латинского а ро", что значит 
«сперва», т. е. в данном случае до того, как был произ- 
веден опыт. Вероятности Р(Н,|А) (Е =1, ..., п) тех же 
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событий после опыта называются апостериорными от ла- 
тинского а роз${егтог!, что значит «после», т.е. в данном 
случае после опыта. 


Пример 19. В условиях примера 17 предположим, что прибор 
проработал безотказно время Т (событие А). Найти апостериорную 
вероятность того, что прибор выпущен А-м заводом (Р = 1, 2, 3). 

Подставив вероятности Р(Н\), Р(Н»з), Р(Нз), Р(А|Н!), Р(А|Н»), 
р(А|Нз), заданные в примере 17, в формулу Бейеса (23), находим 
апостериорную вероятность того, что прибор выпущен к-м заводом: 

- МТ | 
Р(Нь| А ыы, 
мы пе МТ пье-^Т -- пе 7 


_$ 8. Повторение опытов 


8.1. Случай постоянных условий опыта. Рассмотрим 
сложный опыт, состоящий из нескольких более простых 
опытов, в каждом из которых может появиться или не 
появиться некоторое событие А. 

Опыты называются независимыми, если вероятность 
интересующего нас события А в каждом опыте’не зави- 
сит от результатов других опытов. Предположим, что 
производятся п независимых опытов, в каждом из кото- 
рых вероятность события А: равна р. Требуется найти 
вероятность Р„.„ того, что событие А появится т раз. 

»> Для того чтобы при п опытах событие А появилось 
т раз, необходимо и достаточно, чтобы появилась одна 
из последовательностей событий В/,..., В,, в которых 
т из событий Ву, ..., В» совпадают с А, ап—т — с про- 


ТИВОПОЛлОЖНЫМ событием А. Очевидно, что число.таких 
последовательностей равно числу сочетаний из п по т, 
т. е. Ст=и!/ т! (п —т)! |, 0! =1. В силу независимости 
опытов вероятность каждой такой последовательности по 
теореме умножения для независимых событий (21) равна 
р”"а"-", где 7=1|1— р. Наконец, в силу несовместности 
_ всех возможных последовательностей искомая вероятность 
Р„.„ равна сумме вероятностей всех последовательнос- 


тей, состоящих из тсобытий А и п-т событий А,т. е. 
сумме Ст слагаемых, равных р”д"-”: - 


Р "-т (т=0,1,..., п). 
(24) 


_ Возьмем теперь вспомогательную переменную и и за- 
метим, что величина Р„.„и” = Стр”4а”"-"и” представляет 
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топ— т — п! 
= Стр” О" : 


т, ПВ 


собой общий член разложения функции (9 -- ри)" по фор-. 
муле бинома Ньютона. 

Таким образом, вероятность Р„_„ представляет собой 
коэффициент при и” в разложении функции 

<» (и) = (9 + ри)" | `(25) 

по степеням и. В 

_ Функция Ф, (и) называется производящей функцией 
для вероятностей Р„. в. 

К полученному результату можно прийти также: ме- 
тодом индукции, заметив, что при п=| задача имеет 
очевидное решение Р, ,=д, Р,.‚==р, и применив извест- 
ное соотношение между биномиальными коэффициентами 


> (26) 
Можно также, исходя из того, что 
фа (и) =9- ри, (27) 


вывести из (11) и (21) рекуррентную формулу для про- 
изводящих функций: 


9 =9,-, @) 9+ Ри), = (28 


а затем получить (25). 

Элементарными событиями в данном случае служат 
все конечные последовательности {В.,..., В}, где каж- 
дое В, представляет собой событие А или противополож- 


ное событие А. Полем событий «$? служит алгебра всех 
возможных объединений этих элементарных событий, 
дополненных невозможным событием. Вероятность каж- 
дого элементарного события равна р”а”-”", где т — число 
событий В, в последовательности {В.,..., В„\, совпадаю- 
щих с А (т=0,1,..., п). Вероятность любого события 
определяется как сумма вероятностей входящих В него 
элементарных событий. 

Соответствие между числами т=0,1,...,П и веро- 
ятностями Р„.„, опредэзляемое формулой (24), называет- 
ся биномиальным распределением. 

8.2. Случай переменных условий опыта. Формулы (24) 
и (25) легко обобщаются на случай, когда вероятность 
события А имеет различные значения в разных опытах 
(повторение“ опытов в переменных условиях). Если опыты 
независимы и вероятность события А в А-м опыте равна 
р», 9%=1— р, (Е =1,..., п), то вместо (24) совершенно 
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таким же путем получается формула 


Ри. = УР. Ритчи .9%  (т=0,1,...,п), (29) 
где сумма распространена на все возможные разделения 


чисел 1, 2,...,й на две группы, одна из которых со- 
держит т чисел (11,1, ...,#„), а другая —п—т чисел. 
(1+1....й). Число таких разделений равно Ст. 


Легко понять, что вероятность Р„,„ в этом случае 
представляет собой коэффициент при и” в разложении 
по степеням и производящей функции 


(= + ры). = (80 


°— К этому результату тоже можно прийти по индукции 
или получив рекуррентную формулу 


Фи» (и) — Фи-1 (и) (9 -- рии). | (31) 


8.3. Вероятность появления события не меньше дан- 
ного числа раз. Во многих задачах практики приходится 
определять вероятность того, что интересующее нас со- 
бытие АД появится при п опытах не меньше чем данное 
число ^ раз. 

№ Очевидно, что сложное оиееаоньиение собы- 
тия А не меньше чем Ё раз— представляет собой объ- 
единение п №1 несовместных событий: появление А 
ровно КЁ раз, появление А ровно А- | раз, и т. д., по-. 
явление А ровно п раз. Следовательно, искомая веро- 
ятность Ю,,„ того, что при п опытах событие А появится 
не меньше чем А раз, равна 


Квт Ри Раны Е... ЕР = > Р т.п’ (32) 


Эту вероятность можно также. вычислить, определив 

‘сначала вероятность противоположного события, т. е. 

вероятность того, что событие А появится меньше чем 
Е раз, и вычтя ее из единицы: 

| о , |. 

-. 

Кьи=1 — Ро, — Рав +. Р-н =1— © Ри, п. < (33) 


т=о 


2 


Ясно, что всегда целесообразно пользоваться той из 
формул (32) и (33), у которой в сумме меньше слагае- 
мых. Очевидно, что в (32) сумма содержит п— -|+ 1 сла- 
гаемых, а в (33) —^ слагаемых. Следовательно, форму-` 
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лой (32) целесообразно пользоваться, если п 1 < В, 
т. е. если Е > (п-- 1)/2. Если Е < (п- 1/2, т. е. < 
<п—Е-+ 1, то целесообразно пользоваться формулой (33). 

8.4. Вероятность хотя бы одного появления события. 
Чаще всего приходится вычислять вербятность того, что 
интересующее нас событие появится хотя бы один раз 
`(т. е. не меньше чем один раз). Очевидно, что в этом 
случае при любом п>2 целесообразно пользоваться фор- 
мулой (33), так как сумма в ней содержит только одно 
слагаемое Р..„. В результате получим 


К!.,=1—Р.„=1— 9192. ‚О. (34) 

В частном случае постоянных условий опыта 9, =9.=.., 
... =0,=4 и формула (34) принимает ВИД | 

КЮ. „=! 97”. (35) 


Формулы (34) и (35) легко выводятся непосредственно 
без применения формулы (33). Для этого достаточно вы- 
числить вероятность противоположного события — непо- 
явления события А ни разу. Вероятность того, что при 
п независимых опытах событие А не появится ни разу, 
равна произведению вероятностей непоявления А в пер- 
вом, втором, третьем, и т. д., п-м опытах, т. е. произ- 
ведению 0.49....9,. Вычитая эту вероятность из единицы, 
мы получим формулу (34). 

8.5. Случай опытов с несколькими событиями. Если 
в результате каждого опыта появляется одно из полной 
группы несовместных событий А,,..., А,, вероятности 
которых равны соответственно р:,...,р,, ра... + Р,=1, 
то вероятность того, что при п опытах А, появится 
т, раз, А, —т, раз, ит. д., А. —т, раз, т: -...-т,=И, 
спределяется формулой 


п! | 
Ри,, .... тр == ттт в. ‚рты. : „ р” . (36) 


> Эта формула легко получается последовательным 
применением формул (29). Вероятность того, что собы- 
тие Д; появится 71, раз при п опытах, согласно (29) равна 


| 
Ре (ры рот, 


Условная вероятность события А, в каждом из остав- 
шихся опытов при условии, что А, в этих опытах не 
появляется, очевидно, равна р./(р.-...-Ер,). Поэтому 
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условная вероятность того, что в т,-...-+т, опытах, 
в которых не появляётся 4,, событие А, появится т, раз, 
согласно (29) определяется формулой 

р ы (т-|-...Ет,)! 

| То, Т.+... Тр ть! (та. тр) | 


х И г о 
р›--...-ГРь р2--...-Е 2, 


Продолжая таким образом, находим условную о 
того, что событие А, появится т, раз вт,-{... т, 
опытах при условии, что события А,,..., А,_, В этих 
опытах не появляются: | 


(мк--...т,)! 


Р = 
И Г ть! (тежаЕ...-Ет,) ! 


х (; р г 2 
РЕ --- В» рЕ-- ...-ЕРг ` | у 
Перемножая найденные вероятности, мы и получим фор- 
мулу (36). < 

Производящая функция вероятностей. а га 
(т. -...-т,=1) определяется формулой 


Фи (Иа +. М.) = (ры, +... НР, (37) 


причем Ра, ....ш; представляет собой коэффициент при 
и":...ит в разложении этой функции по степеням пере- 
менных и, ..., И,. 

Элементарными событиями в данном случае служат 
конечные последовательности {В.,..., В„!, где каждое 
В, представляет собой одно из событий А,,..., А. По- 
лем событий служит алгебра всех возможных объедине- 
ний этих событий, дополненных невозможным событием. 
Вероятность каждого элементарного события равна р"*.. 
...р”г, где т; —число событий В, в последовательности 
{В,,..., В, совпадающих с А; (=1,..., г). Вероят- 
ность любого события равна сумме вероятностей входя-. 
щих в него элементарных событий. 

Распределение вероятностей, определяемое `форму- 
.лой (36), называется полиномиальным. 


$ 9. Распределение Пуассона 


9.1. Потоки событий. На практике приходится встре- 
чаться с событиями, которые происходят в случайные 
моменты времени. Такие события образуют последова- 
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тельность событий, называемую обычно потоком событий. 
Примерами потоков событий могут служить вызовы або- 
нентов на телефонной станции, пересечения перекрестка 
транспортными средствами, вызовы скорой медицинской 
помощи, отказы технической системы, приходы клиентов 
в обслуживающую организацию (например, парикмахер- 
скую) ит. д.- © 

Часто можно считать, что поток событий удовлетво- 
ряет следующим условиям: 

|1) для любых двух непересекающихся интервалов 
времени вероятность появления любого данного числа 
событий в течение одного из них не зависит от того, 
сколько событий появляется в течение другого; 

2) вероятность появления одного события в течение 
бесконечно малого интервала времени (2, [-- 40 есть 
бесконечно малая величина порядка ДЕ; 

3) вероятность появления более одного события в те- 
чение интервала времени ({, [- АР) есть бесконечно ма- 
лая высшего порядка по сравнению с АЁ 

Обозначим р„ (11, &,) вероятность появления т собы- 
тий в интервале времени (Ё, #,). Тогда условия’ 2) и 3) 
- запишутся в виде 


ра (Ь АА (ОМ о (А, | (38) 
х рь(Е-- А) =0(А1), ° (39) 


где с неотрицательная функция *). | 
9.2. Уравнение для вероятности непоявления событий. 
салим задачу: для потока событий, удовлетворяю- 
щего условиям 1), 2) и 3), найти вероятности того, что 
в данном р времени (",, Г) появится т событий 
(п==0, В.2, 
> Считая момент {, и. обозначим иско- 
мые вероятности р. (1). (т =0, 1,2, | 
Для вычисления р, (1). заметим, что р, (Е-- АЙ пред- 
ставляет собой вероятность пересечения двух событий: 
ни одного события в интервале (1,1) и ни одного `со- 
` бытия в интервале (Ё, #-- АВ. Согласно условию 1) эти 


`*)`о (41), как всегда, означает бесконечно малую высшего по- 
рядка по сравнению с ДЁ, так что 


| 0(4 _ 


события независимы. Поэтому 
ро (Е-- АЁ) = рь (1) ро (Ь +44). (40) 
Но на основании (38) и (39) 


ро (Ё, а ры, 1-4 =1—^ (1) АЁ--0 (4. 
= | 

о (41) 

Подставив это выражение в (40), получим 
р, &-Е- А!) = рь (1) — Ро (В) ^ (И АР--о (АЦ, 
откуда | 
1-- АЙ — ро (1 

Ро (ЕЕ т (0 (рр, 


ДЕ ` 

При АЁ-—+0 правая часть этого равенства стремится к 
определенному пределу — А, (Р) р, (ЕЁ). Следовательно, су- 
ществует и предел левой части. Таким образом, вероят- 
ность р, (Т) дифференцируема при любом Ги в пределе 
при АЁГ—+0 мы получаем дифференциальное уравнение 


р. (Й = — ^ (1) ро (0. _ (42) 


Для нахождения начального значения вероятности 
р. (Г) достаточно положить в (41) [=ВЦ и перейти к пре- 
делу при АЁ—+›0. Тогда получим р, ([)= 

_9.3. Уравнения для вероятностей различных чисел о 
событий. Для составления уравнений для вероятностей 
р, (Г), р.(Г, ... заметим, что т событий могут появиться 
в интервале времени (1, Е-- АГ) одним из следующих 
т-Н] несовместных способов: все т событий появляются 
в интервале (1, Г) и ни одного в интервале (+, 1 А1), 
т—1 событий появляются в интервале (К, № и 
одно в интервале (+, [--Д&), ит. д., все‘т событий по- 
являются в интервале (1, #- 41). Поэтому на основании 
аксиомы сложения вероятностей и теоремы умножения 
вероятностей независимых событий (21) имеем 


ри (#-- А = ра (1) ро (6 1-- А ри, (0) в (Ь ЕАЙ-... 
Е рь (0 ры (1+ 40. 


Отсюда на основании (38), (39) и (41) получаем 


р» (1-- А = р, (ЙО -[-, (1) — Ри (0 А (0 АЕ--о(А1. 
Следовательно, | 


Рт СА Ра = А [Ри- (2 — ри (ОТ 2 оо. 
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Рассуждая далее совершенно так же, как и при выводе 
уравнения (42), получаем дифференциальное уравнение 


ры =^ (0 [р-1()—Р.(0] — (т=1,2,...). (43). 


Начальные значения вероятностей р, (1), р. ({), ... все 
равны нулю в силу того, что р, (К) =1, р» (1) =0 (т=1, 


9.4. Решение уравнений. Приняв за независимую 
переменную величину ы 
[а 


в= А (т) ат, | (44) 


Фо 
приведем уравнения (42) и (43) к виду 


4 арт | и 
РР, а, И о (45) 


) 


ай ан 
‚Начальные условия примут вид р, =1, р.=0 (т=1, 
2,...) при и=0. Легко убедиться непосредственной 


подстановкой, что интегралы уравнений (45), удовлетво- 
ряющие начальным условиям, определяются формулой 
т 
р®=Ете-й — (т=0, 1 ‚2,...). < (46) 
Таким образом, для ‚данного интервала времени ({,, #) 
мы имеем счетное множество ‘элементарных событий: 
ни одного события в этом интервале, одно, два и т. д., 
и вероятности этих событий определяются формулой (46). 
Следовательно, формула (46) определяет распределение 
вероятностей. Это распределение вероятностей называется 
распределением Пуассона. Поэтому поток событий, удов- 
летворяющих условиям 1), 2) и 3), называется пуассо- 
новским потоком. Параметр и распределения Пуассона, 
как мы увидим в п. 3.2.1 (пример 3.2), представляет 
собой среднее число событий, происходящих в данном 
интервале времени (&, #). Функция ^(Г) называется ин- 
тенсивностью пуассоновского потока. 


Пример 20. Найти вероятность того, что число электронов, 
вылетающих из катода электронной лампы в течение интервала вре- 
мени длительности #, будет равно т, если среднее число электро: 
нов, испускаемых в единицу времени, равно / =со0п${. Поток элект- 
ронов можно считать пуассоновским. 

На основании (44) в данном случае и =/{. Подставив это выра- 
жение в (46), получим 

(Арт 


рт = = гм (т=0, 1,2, ...). 
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| Пример 21. Интенсивность потока вызовов телефонной станции 

(т. е. средняя плотность вызовов — предел отношения среднего числа 
вызовов в Течение бесконечно малого интервала времени (1, #-- АЁ) 
к АЁ при 4! - 0) равна А, и Найти вероятность того, что в тече- 
ние интервала времени (21, #5) на станцию поступит т вызовов. 

В данном случае можно с достаточной точностью считать, что 
поток вызовов удовлетворяет условиям, при которых поток является 
пуассоновским. В самом деле, в силу отсутствия связи между дей- 
ствиями отдельных абонентов вероятность любого данного числа 
вызовов в интервале . времени (11, #5) практически не зависит от 
от Того, сколько вызовов поступает в течение других интервалов 
времени, не пересекающихся с интервалом (Ё!, #5). Вероятность прак- 
тически одновременного поступления двух и ‚больше вызовов можно 
считать равной нулю. Поэтому можно считать выполненными и ус- 
_ ловия 2) и 3). Тогда искомую вероятность можно вычислить, пользуясь 
распределением Пуассона, по формуле (46) при = А (т) ат. 

| И: 

_ Вместо вызовов телефонной станции можно рассматривать вызовы 
скорой помощи, предъявления определенных объектов техники в 
ремонтную организацию, выезды транспортных средств на перекрес- 
ток, прибытия клиентов в обслуживающую организацию и т. п.. 
Во всех таких случаях общее число событий, происходящих в тече- 
ние длительного интервала времени, практически‘ неограничено, 
а для относительно. малых интервалов времени можно считать выпол- 
ненными условия 1) —3), при которых поток можно считать пуас- 
соновским, конечно приближенно, как всегда в задачах практики. 
То же относится и к явлениям радиоактивного распада вещества. 
Потоки распада атомов можно считать пуассоновскими. 


9.5. Случайное распределение точек в пространстве. 
Распределение Пуассона. получается также и в случае, 
когда точки распределяются случайным образом не .на 
числовой оси, а на плоскости, поверхности или в про- 
странстве. Предположим, что выполнены условия: 

1) ‘для любых двух непересекающихся областей веро- 
ятность попадания любого данного числа точек в одну 
не зависит от того, сколько точек попадает в другую; 

2) вероятность попадания одной. точки в бесконечно 
малую область представляет собой бесконечно малую 
того же порядка, что и площадь (объем) этой области; 

3) вероятность попадания более одной точки в бес- 
конечно малую область представляет собой бесконечно 
малую величину высшего порядка по сравнению с пло- 
щадью (объемом) этой области. 

Тогда вероятность попадания т точек в данную об- 
ласть В определяется формулой (46) при 


= \ А, (=) ат. | (47) 
В 


Все предыдущие выкладки остаются при этом в силе. 
Только вероятности р„ следует рассматривать не как 
функции В и Ё, а как функции величины ци ^ (1) АЕ во 
всех формулах заменить величиной Дь. 


Пример 22. При разрыве снаряда неконтактного действия 

а распределяются по некоторой поверхности с плотностью 
А (2). При очень большем общем числе осколков Условие 1) можно 
считать выполненным для любых областей, малых по сравнению с 
общей областью, покрываемой осколками. Условия 2) и 3) можно 
считать выполненными в силу практической невозможности попада- 
ния двух и более осколков в одну точку. Поэтому для ` вычисления 
вероятностей попадания различного числа осколков в данные области 
(обычно малые по сравнению с общей областью разлета осколков) 
можно пользоваться распределением Пуассона, вычислив: ц по фор- 
муле (47). 


9.6. Пуассоновское приближение биномиального рас- 
пределения. Заметим, что вычисления по формуле (29), 
определяющей биномиальное распределение, при большом 
п становятся очень громоздкими. Однако при малой ве- 
роятности р биномиальное распределение при большом п 
хорошо аппроксимируется пуассоновским распределе- 
нием. Действительно, при малой вероятности д для всех 


иЕ (0, 1) 
а-- ри =1-р(и— 1) = е? 4-1 =е-Р.еви*). 


Подставив это выражение в формулу (28) для произво- 
дящей функции, находим 
п 
Ри. Рейт (т-О,1,2,...). (48) 

Эта формула дает пуассоновское приближение бино- 
мнального распределения. Она достаточно точна при 
большом числе опытов И и при достаточно малой веро- 
ятности р события в одном опыте. 

Аналогично получается приближенная формула (46) 
при и=р.-...-+р, для вероятности Р„„ в случае 
переменных условий опыта при большом п и малых 
Ра’. -› Рп- 

Предлагаем читателю самостоятельно показать, что 
распределение Пуассона является пределом последова- 
тельности биномиальных распределений при р= ип (п=1, 
2,...), где и— данная постоянная. 


——. 


*) Предоставляем читателю самостоятельно убедиться в этом, 
представив е? формулой Маклорена с` остаточным членом второго 
порядка в форме Лагранжа. 
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Глава 2 


СЛУЧАЙНЫЕ ВЕЛИЧИНЫ 


$1. Общие определения. Дискретные случайные величины 


1.1. Определение случайной величины. В п. 1.2.2 
было дано интуитивное определение случайной величины, 
основанное на экспериментально наблюдаемых фактах, 
и было показано, что с каждой случайной величиной 
можно связать некоторые события —ее поладания в раз- 
личные множества. Для изучения случайных величин 
необходимо, чтобы для некоторого множества таких со- 
бытий были определены вероятности, т. е. чтобы это 
множество событий принадлежало полю событий о%, свя- 
занному с данным опытом. Мало того, целесообразно 
потребовать, чтобы это множество событий само пред- 
ставляло собой поле событий (подполе поля 5”). Таким 
образом, мы приходим к следующему определению слу- 
чайной величины. 

Случайной величиной называется’ величина, которая 
принимает в результате опыта одно из множества воз- 
‘можных значений и с ‘которой связано некоторое поле 
событий —ее попаданий в заданные множества, — содер- 
жащееся в основном поле событий «ХР. 

1.2. Скалярные и векторные случайные величины. 
Случайные величины могут быть как скалярными, так 
и векторными. В соответствии с общим определением 
вектора мы будем называть векторной случайной величи- 
ной или случайным вектором любую упорядоченную сово- 
купность скалярных случайных величин. Так, например, 
п-мерный случайный вектор Х представляет собой сово- 
купность п скалярных случайных величин {Х., ..., Х‚}. 
Эти величины Х,, ..., Х„ будем называть координатами 
случайного вектора Х. 

Координаты случайного вектора в общем случае могут 
быть комплексными случайными величинами (принимаю- 
щими в результате опыта комплексные числовые значе- 
ния). Однако от комплексных величин всегда можно 
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избавиться, заменив каждую. комплексную величину 
парой действительных —ее действительной и мнимой 
частями. Таким образом, п-мерный вектор с комплекс- 
ными координатами всегда можно рассматривать как 
2п-мерный вектор с действительными координатами. 
Впрочем, это не всегда выгодно, во многих случаях 
удобнее рассматривать комплексные случайные величины. 
В дальнейшем будем для краткости называть вектор 
с комплексными координатами комплексным вектором, 
а вектор с действительными координатами действитель- 
ным вектором. 

° Очевидно, что вместо случайного вектора можно рас- 
сматривать случайную точку в соответствующем простран- 
стве. Это совершенно равноценные понятия. 

Кроме скалярных и конечномерных векторных слу- 
чайных величин, в теории вероятностей приходится изу- 
чать и случайные величины более сложной природы, 
в частности случайные бесконечные числовые последо- 
вательности (бесконечномерные векторы) и. случайные 
функции. _Мы будем изучать здесь только конечномерные 
случайные величины. 

1.3. Распределение случайной величины. Каждое собы- 
тие поля`,<, связанного со случайной величиной Х, 
представляет собой попадание величины Х в некоторое 
множество А. Это событие записывается в виде ХЕА 
‚ (Х принадлежит множеству А). Из свойств поля событий 
следует, что множества А, соответствующие всем событиям 
|1ХЕА} Е эх, образуют алгебру или о-алгебру множеств А 
в пространстве значений величины Х. Соответствие между 
множествами АЕ/Л и вероятностями попадания в них 
величины Х представляет собой. распределение вероятно- 
стей в пространстве значений величины Х. Это распре- 
деление вероятностей называется распределением (законом 
распределения) случайной величины Х. 

В дальнейшем будем рассматривать только распреде- 
ления действительных случайных величин (скалярных 
или векторных). Цри этом всегда будем отождествлять 
события вида ХЕА с соответствующими множествами Д. 

В некоторых случаях все возможные значения слу- 
чайной величины, за исключением, может быть, некото- 
рого множества значений М, имеющего нулевую вероят- 
ность (Р (№) =0), принадлежат некоторому подпростран- 
_ству или какому- нибудь другому многообразию простран- 
ства ее значений. В таких случаях говорят, что распре- 
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деление случайной величины полностью сосредоточено 
на этом подпространстве или многообразии. 

Пространство значений случайной величины Х с ал- 

геброй или о-алгеброй М множеств в нем и определенной 
‚на этих множествах вероятностью образуют вероятност- 
ное пространство, называемое вероятностным простран- 
ством случайной. величины Х. 
_ 1.4. Дискретная случайная величина. Рассмотренные 
в п. 1.2. ив 5 1.8; 1.9 примеры случайных. величин 
показывают, что некоторые случайные величины имеют. 
‘только конечное множество возможных значений, как, 
например, число появлений или частота события при п 
опытах. Другие имеют счетное. множество возможных 
значений, как,. например, число событий пуассоновского. 
потока, происходящих в течение данного интервала вре- 
мени. Третьи имеют несчетное множество возможных 
значений, как, например, время безотказной работы 
прибора, ошибки измерений, координаты точки попада- 
ния при стрельбе. Случайные величины первых двух 
типов во многих отношениях значительно проще, чем 
величины третьего типа. Поэтому их целесообразно вы- 
делить в отдельный класс. 

Дискретной случайной величиной называется случай- 
ная величина с конечным или счетным множеством воз- 
можных значений. 

-`1.5. Распределение дискретной случайной величины. 
Распределение дискретной случайной величины полностью 
определяется вероятностями всех ее возможных значений. 
Действительно, приняв за элементарные события возмож- 
ные значения, получим конечное или счетное множество. 
элементарных событий. Вероятности этих элементарных 
‚ событий полностью определяют распределение дискретной 
случайной величины. Таким образом, если Х —случайная 
величина с возможными значениями х,, ..., Хх, то ве 
распределение определяется формулой 


р»„=Р(Х==х,) (= ЬЬ..., М). 


Сумма всех ЭТИХ Ре равна единице, 


‚Ул, 


\=1 


так как события Х=х,, ..., Х = хл, несовместны и обра- 
‚ зуют полную группу (случайная величина Х принимает 
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в результате опыта какое-нибудь одно и только одно 
из значений Хх, ..., Хм). 

Вероятностным пространством дискретной случайной 
величины Х служит множество ее значений {х,,..., Хм} 
с алгеброй всех подмножеств этих значений и вероят- 
ностью, равной для каждого подмножества сумме вероят- 
_ностей значений, входящих в это подмножество. 

Однако за вероятностное пространство дискретной 
случайной величины можно принять и все пространство, 
точками которого являются ее возможные значения, 
с 0-алгеброй всех подмножеств этого пространства и 
вероятностью, значение которой на каждом подмножестве 
равно сумме вероятностей возможных значений, содер- 
жащихся в этом подмножестве. 


Пример 1. Распределение числа Х появлений события при п 
опытах определяется формулой Р(Х = т) =Ртп (т=0,1,..., п), 


где вероятности Вы вычисляются по формулам $ 1.8. В данном 
случае 
\ № =п-|- |, Ж=0, =, оофу ХмМ+1=1П, 


1 = Ро п, р. =Р: п, ...› Рп+1= Ри, п. 
В частнссти, биномиальное распределение определяется в силу 
(1.24) формулой Р(Х=т) = Сир”тдп-т (т=0,1, ... п). 
Пример 2. Распределение частоты У события при п опытах 
определяется формулой 
т 
Р( =) = Ри. (т =0, 1, .оз..,у п). 


Пример 3. Распределение Пуассона (в частности, распреде- 
ление числа Х ссбытий пуассоновского потока, происходящих в те- 
чение данного интервала времени) определяется формулой (1.46): 


Р(Х=т) = те И оо. 


Пример 4. Распределение г-мерного о вектора Х, 
координатами которого служат числа Х|!,..., Х; появлений несов- 
местных событий А|, ..., А;, образующих полную группу, при п 
опытах определяется формулой (1.36): 


а п! | | т,. 
= —рР =—рр".., г 
рп {Х» "м Те. Тр па! то! ем т Ра р. Р, , 


т... т; =7. 


Вектор Х в данном случае имеет полиномиальное распределение, 
полностью сосредоточенное на (г—1)-мерной плоскости х!-... 
‚..--Х;=Л Г-Мерного пространства. 
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$ 2. Непрерывные случайные величины. Плотность 
случайной величины 


2.1. Плотность случайной величины. Распределение 
случайной величины с несчетным множеством возможных 
значений невозможно задать вероятностями отдельных 
значений. Поэтому необходим другой подход к таким 
случайным величинам. 

В $ 1.2, где мы имели в виду в основном случайные 
‚величины с несчетным множеством значений, мы видели, 
что распределение экспериментальных значений действи- 
тельной случайной величины удобно характеризовать их 
относительной плотностью, которая представляет собой 
отношение частоты попадания в интервал к длине этого 
интервала. При неограниченном увеличении числа опытов 
частота стремится стабилизироваться около вероятности. 
Кроме того, длины интервалов Ах при неограниченном 
увеличении числа опытов можно неограниченно умень- 
шать. В результате гистограмма. будет стремиться к не- 
которой кривой, ординаты которой выражают отношения 
вероятности к длине интервала. Таким образом, мы при- 
ходим к понятию плотности случайной величины. 

Предположим, что поле событий %’,, связанное со 
случайной величиной Х, содержит попадания ее в любые 
интервалы (прямоугольники в случае векторной вели- 
чины Х). 

Плотностью (или плотностью вероятности) скалярной 
случайной величины Х называется предел отношения 
вероятности попадания ее значения в бесконечно малый 
интервал [х, х- Ах) к длине. этого интервала Ах при 
стягивании его в точку х: 

+ (х) = Ит Аа. (1) 
Ах->0 ы 

Кривая, изображающая плотность, обычно называется 
‚кривой распределения. Она представляет собой теорети- 
ческий аналог гистограммы. На рис. 7 представлен при- 
мерный вид кривой распределения. 

Если понимать неравенства. между векторами как 
совместное выполнение таких же неравенств между соот- 
ветствующими координатами векторов (например, а<6 
как а, <6,, К=1,...у п), Ах в знаменателе формулы 
(1) как произведение Ах.Ах, ...Ах,, а Ах-—+0 как 
тах (Ах,, ..., Ах „)—0, то формула (1) определит плот- 
ность ип-мепного случайного вектора СХ. 
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Таким образом, плотностью случайного вектора на- 
зывается предел отношения вероятности его попадания 
в бесконечно малый пря- , 
моугольник [х, х+- Ах) к у 
объему этого прямоуголь- 
ника Ах при стягивании 
его в точку х. 

2.2. Непрерывная слу- 
чайная величина. Плот-. 
ность как обычная функ- 
ция существует только 
в том случае, когда при | : 
всех х существует предел | Рис. 7. 

в (1) (конечный или бес- 
конечный). Поэтому имеет смысл выделить класс ‘случай- 
ных величин, для которых это условие выполняется. 

Непрерывной случайной величиной называется такая 
случайная. величина, вероятность попадания которой 
в любую` бесконечно малую область бесконечно мала и 
для которой при каждом х существует конечный или 
бесконечный предел в (1) *). Из этого определения следует, 
что вероятность попадания непрерывной случайной ве- 
личины в Любую точку (или на любую кривую при и >> 1, 
поверхность при п = 3, гиперповерхность при п > 3) про- 
странства ее значений равна 0. 

Если плотность [(х) непрерывна в точке х, то для 
любой последовательности прямоугольников {К}, содер- 
жащих точку х, сходящейся к точке х, | 


р < Р(ХЕК». 
= а Пт Г(х) = Шт п-Е, (2) 


где (К ,) —объем прямоугольника К › (длина ИЕ Кр 
при п=1, площадь при п=2). 
> Для доказательства формулы (2) зададим произволь- 
но малое &>0 и выберем настолько малый прямо- 
угольник Ю,, чтобы для любой точки } ЕК», было . 


Мо) |<>. (3) 


Ро › 


*) Достаточно, чтобы предел в (1) существовал ‚почти при 
всех х, т. е. при всех х, кроме некоторого множества нулевой ме- 
ры. Множеством нулевой меры называется такое множество, кото- 
рое можно покрыть интервалами (прямоугольниками) сколь угодно 
малой суммарной кин (площади, объема). 
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Тогда для любого р > р, неравенство (3) будет выполнено 
при всех ‘ЕКА,, так как К,=Ю,„ при р>> р». 

‘Пусть Хх, ближайшая К ’ началу координат вершина 
прямоугольника . К» х›<х’ для всех хЕВЮ,. На осно- 
вании (3) 


Перник. 


С другой стороны, из (1) следует, что для всех доста- 
точно малых прямоугольников Ю 
Р(ХЕК,) 

8.1») | 


Г. 


<>. 5) 


Из (4) и (5) следует, что для всех достаточно больших р. 
Р(ХЕК») ] Р(ХЕК,) 
(Кр) =) => о (Юр) = 


Ре < уз =е 


Отсюда вследствие произвольности в >> 0 следует (2). $. 

Будем называть областью любое связное множество 
точек, имеющее определенный объем (длину при п=1, 
площадь при п==2). Легко понять, что любую область 
можно представить в виде счетного объединения попарно 
непересекающихся прямоугольников. | | 

Пусть В — любая область. Еели плотность {(х) не- 
прерывна в замкнутой области, полученной путем добав- 
ления к области В ее границы, то 


Р(ХЕВ) _ 
т < — в) <М, (6) 
где ти М— нижняя и верхняя грани значения плот- 
ности [(х) в области В: 


т= шШЕ|()  М=зир[(). 
= ХЕВ ХЕВ 
№ Пусть {К,„} —последовательность попарно непере- 
секающихся прямоугольников, объединением которых 
является область В. Предположим, что Р(ХЕВ)/о (В)>М. 
Тогда это же неравенство справедливо, по крайней мере, . 
для одного из прямоугольников, из которых составлена 
область В, скажем для К,: Р(ХЕКЮ,)/ю(Ю,) > М. Дей- 
ствительно, если Р(ХЕК,)/ю (Ю,) < М для всех прямо- 
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УГОЛЬНИКОВ К то в силу аксиомы сложения 


|=) 


Р(ХЕВ)= УР(ХЕК < М У о (ВЮ = Мо(В). 


— 


Обозначим прямоугольник Ю,, для которого 
Р(ХЕРЮ, )/о (Ю,) > М, через Ю®. Разделим каждую сто- 
рону прямоугольника’ Ю“? пополам. Тогда прямоуголь- 
ник Ю“) разобьется на 2” равных прямоугольников и, 
по крайней мере, для одного из них, скажем для Ю? =АЮ“?, 
будет выполнено то же неравенство: Р (ХЕ ВЮ“) /о (Ю®)> М 

Продолжая этот процесс деления прямоугольников, по- 
лучим последовательность прямоугольников. {ЮФ}, для 
каждого из которых | 


Р(ХЕК‘Р 
> М (р=Ьо,. .). (7) 


‘Пусть х, —точка, принадлежащая всем прямоугольни- 
кам Ю‘”. Очевидно, что такая точка существует и един- 
ственна. Следовательно, последовательность прямоуголь- 
ников {ЮР} сходится к точке х, и в силу (2) и (7) 


м Р(ХЕЮ(Р) | 
р Е > м. | 


Полученное противоречие доказывает правое неравен- 
ство (6). Аналогично доказывается левое. < 

Из (6) следует, что формула (2) справедлива и в том 
случае, когда {Ю,} представляет собой произвольную 
последовательность областей, содержащих точку х, и 
сходящуюся к точке х. 

№ Действительно, обозначив через т, и М, нижнюю 
и верхнюю грани Г (х) в области К,  примёнив неравенства 
(6) к каждой области К, и приняв во внимание, что 
последовательности {т„} и {М,} сходятся к [(х) в силу 
непрерывности ](х), убеждаемся в справедливости вы- 
сказанного утверждения. «® 

2.3. Вероятность попадания в область. ‚Определим 
вероятность попадания Ноя случайной вели- 
чины Х в данную область А. 

№ Предположим сначала, что плотность }(х) величи- 
ны Х непрерывна в замкнутой ограниченной области А. 
‚ Возьмем произвольную последовательность разбиений 
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области Д 
М, | 
А= ЦА” (р=1,9,...). 
Е =1 


На рис. 8 показано одно такое разбиение для двумер- 
ного вектора Х (п=2). Пусть 4, —максимальный из наи- 
болыших диаметров областей А? (&=1,..., М№р): 
Г ® 
„= тах зир п. |, ‚Па а, =0, 
х, хе А} 


т”, МР)—нижняя и верхняя грани {(х) в обла- 


сти А”. Тогда при всех р будем иметь: 
м 


Р 
Р(ХЕА)= У Р(ХЕАР) 

= 
и в силу (6) 4 
т) ЗР(ХЕА!Р) и (А) < МР. 


Следовательно, при всех р 


му 


М 
Р 
р то (Ак) ЗР(ХЕА) < > МРо(А!”). (8) 


Г: 


Н 


Из теории интегралов Римана известно, что при р-—+ со 
обе суммы в (8) сходятся к одному и тому же пределу, 
| равному интегралу от функции: 
[(х), распространенному на об- 
ласть А. Следовательно, веро- 
ятность попадания непрерывной | 
случайной величины Х в о0б- 
ласть А определяется форму- 
ЛОЙ | о | 


Р(ХЕА) ы (ах. (9) 


Если плотность {(х) кусочно непрерывна и ограни- 
чена в замкнутой области А, то разбив А на части, 
в каждой из которых [(х) непрерывна, и применив 
аксиому сложения, убеждаемся в том, что формула (9) - 
справедлива и: в случае кусочно непрерывной ограни- 
ченной плотности ] (х). | | 
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Если . плотность {(х) неограничена в области А или 
сама область А неограничена, то, представив А как пре- 
дел последовательности ограниченных областей, в каждой 
из которых [(х) ограничена, как это делается при опре- 
делении несобственных интегралов, убеждаемся в спра- 
ведливости формулы (9) и в таких случаях. При этом 
несобственный интеграл в (9) всегда существует как 
предел последовательности неотрицательных интегралов, 
не превосходящих 1. ®. 

_ Таким образом, вероятность попадания случайной 
величины Х в данную область А равна интегралу от 
плотности этой величины по области А. 

В случае скалярной величины Х формула (9) опре- 
деляет вероятность попадания величины Х в интервал 
А = (а, В): | 


В 
Ра<х<в=\ (ах. (10) 


В случае п-мерного вектора ,.Х интеграл в (9) пред- 
ставляет собой п-кратный интеграл по всем координа- 
там вектора х. Область А обычно определяется некото- 
рыми неравенствами, из которых находятся пределы 
интегрирования по всем переменным. 

Величина ` }(х) Ах, которая в силу (1) представляет 
собой с точностью до бесконечно малых высшего порядка 
вероятность попадания величины Х в бесконечно малую 

область объема Дх, называется элементом вероятности. 

Вероятностным пространством непрерывной случайной 
величины Х служит пространство ее значений с алгеброй 
множеств, для которых существует интеграл Римана 
в (9), и вероятностью, определяемой формулой (9)*). 
Таким образом, плотность непрерывной случайной вели- 
чины полностью определяет ее распределение. | 

2.4. Свойства плотности. Изучим теперь основные 
свойства плотности. 

1) Из определения непосредственно следует, что ПЛоТ- 
‚ ность не может быть отрицательной, ] (х) > 0. 


Ра 


*) Легко понять, что совокупность всех множеств, для которых 
формула (9) и аксиома сложения определяют вероятность, образует 
алгебру, но не о-алгебру. Чтобы класс множеств, для которых 
формула (9) определяет вероятность, был вб-алгеброй, необходимо по- 
нимать интеграл как интеграл Лебега. Тогда формула (9) определит 
вероятность на б-алгебре бореЛевских множеств [42]. 
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2) Учитывая, что выполнение неравенств — со < Х со 
представляет собой ‘достоверное событие (как в случае 
скалярной, так и в случае векторной величины Х), 
(9) получаем 


[**) 


К оах=1. = | (11) 


В случае п-мерной векторной величины Х интеграл здесь 
следует понимать как п-кратный интеграл от — со до 
со по всем координатам х,, ..., х, вектора х. 

Таким образом, плотность неотрицательна и интег- 
рал от нее по всему пространству значений случайной 
величины равен единице. Любая функция, обладающая 
этими Двумя свойствами, может служить плотностью 
случайной величины. 


Пример 5. Равномерное распределение. Так называется рас- 
пределение непрерывной случайной величины, плотность которой 
постоянна в Некотороы интервале. (а, 6) и ра вяа нулю вне этого 
интервала: 


| 6 
ны при а. | 12 


` _ О при ха, Ь). 

Равномерное распределение характерно для фазы случайных ко- 
лебаний. Во многих задачах практики приходится рассматривать 
гармонические колебания со случайными амплитудой и фазой. 
В таких случаях фаза часто оказывается случайной величиной, 
равномерно распределенной в пределах периода колебаний. 

Равномерное распределение характерно также для ошибок гру- 
бых измерений. Если измерение какой-либо величины производится 
с точностью до целых делений шкалы, без определения на глаз доли 
деления, то ошибка измерения может иметь любое значение, не пре- 
восходящее по абсолютной величине половины деления шкалы, при- 
чем нет никаких оснований считать вероятности разных значений 
различными. Больше того, можно с уверенностью сказать, что при 
большом числе таких измерений все значения ошибки в пределах от 
минус половины деления до плюс половины деления шкалы будут 
встречаться одинаково часто. Поэтому ошибка грубых измерений, 
производимых с точностью до целых делений шкалы, представляет 
собой случайную величину, равномерно распределенную в пределах 
от —4/2 до -4Д/2, где А— цена деления шкалы. 

Равномерным распределением пользуются также при вычислении 
геометрических вероятносфей на числовой прямой (см. пример 1.3). 

Пример 6. Нормальное распределение определяется плотностью 


— 


Г(х) = 5 ехр {— уе), 6>0. (13) 


Это распределение, занимающее особое место среди всех распреде- 
лений, мы изучим в $ 3.6. 
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Пример 7. Логарифмическое нормальное (логнормальное) рас- 
пределение определяется плотностью 


[(х) = Узеею [— тебтхой-а- 169, с> 0, (14) 


где 1 (х) единичная ступенчатая функция, равная | при х>0и 0 
при х < 0. Случайная величина с таким распределением неотрица- 
тельна. 

Пример 8. у-распределение определяется плотностью 


К ара (х), в>—1, (15) 
Г(и- |) 
где Г (2) —гамма-функция, определяемая формулой 
#2) ; 
Г (2) = \ е- 12-14, 2>0. _ (16) 
0 | 


Частным случаем \у-распределения при и=0 является показа- 
тельное распределение 


Г (х) = #е-*21 (х). _ (17) 


Показательное распределение широко применяется в теории надеж- 
ности технических устройств и в теории обслуживания. 

Частный случай у-распределения при любом натуральном р на- 
зывается распределением Эрланга. | 

Для вычисления значений } (х) и’вероятностей попадания в ин- 
тервалы (— о, х) при разных х в а `-Распределения с & = 1/2 
в [94] служит программа СОТК. 

Пример 9. В-распределение определяется плотностью 


—__ Г (р-а9) ХР-! 4-1 
т га” 1—1 1—5), р,9>0. (8 
Для вычисления значений } (х) и вероятностей попадания в ин- 

тервалы (— ©, х) при’разных хв 194] в случае В-распределения 
служит программа ВОТК. 

Использование программ ВОТК и Сотв дает возможность состав- 
лять программы для вычисления вероятностей попадания в любые 
интервалы для величин с В- и \-распределениями при любых зна-. 
чениях параметров р, 4, Аи и. 

Пример 10. Равномерное распределение в области В п-мерного 
пространства определяется плотностью 


х —— в (х), 19 

г = т в (*) (19) 

где 1в(х)— индикатор области. В (функция, равная 1 в области В 
и 0 вне области В), а о (В) — объем (мера) области В. 


В частности, равномерное распределение на прямоугольнике 
[х| <а, |у| < 6 на плоскости определяется плотностью 


Г (х, т (20) 
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Равномерное распределение внутри эллипса х?/а?-- у?/Ь? =1 на 
плоскости определяется плотностью. 


] х2 2 | 
(х, Иль ЦВ). (21) 


Равномерным распределением на плоскости и в пространстве 
пользуются при вычислении геометрических вербятностей (примеры 
1.4 и 1.5). 

Пример 11. Нормальное распределение в п-мерном прове 
стве определяется плотностью 


о Е а | 52) 
пд У фаре етап с ид, = © 


где вектор х представлен в форме матрицы-столбца, верхний индекс 
«Т» означает операцию транспонирования матрицы, С — симметрич- 
ная положительно определенная матрица, а | С | —определитель мат- 
рицы С. В $ 4.4 мы подробно изучим многомерное НО рас- 
В 


2.5. Случайная величина как функция элементарного 
события. Из определения случайной величины следует, 
что при появлении любого элементарного события каж- 
дая случайная величина принимает одно значение. Сле- 
довательно, случайная величина представляет собой функ- 
цию элементарного события. 

Так, в примере 1 число появлений Х события А пред- 
ставляет собой функцию элементарного события, прини- 
мающую значение т при появлении любого элементар- 
ного события «={В,,..., В„\, в котором. т из событий 
Вт, ..., В„ совпадают с Аи п^т—<сА. 

В примере 4 случайный вектор Х представляет собсй 
функцию элементарного события, принимающую значение 
{т,..., т;} при появлении. любого элементарного со- 
бытия @ ={В.,..., В„}, в котором т, из событий В+,..., В, 
совпадают с А, (Е =0,1,..., г) (т, ...,,==0, 1 

т... т, = п). | 
Любая случайная величина Х, если принять за эле- 
ментарные события точки пространства ее значений, пред- 
ставляет собой функцию элементарного события, которая 
при появлении элементарного события ®«=х принимает 
то же значение «=х, Х =х (9) =0. 

Координата Х, любого случайного вектора Х = 
={Х,,..., А„} представляет собой функцию элементар- 
ного события, которая при появлении элементарного со- 
о @=х=4х.,..., Х„} принимает значение ®,=х, 


Р=Хр (60) =®, (р=1, ..., в 
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Наконец, случайная величина У ==ф(Х), представляю- 
щая собой данную функцию случайной величины Х, есть 
функция элементарного события, которая при появлении 
элементарного события ® =х принимает значение ф (6) = 
=ф(х), У=Ф (6). 

Однако не всякая функция элементарного события 
является случайной величиной. Чтобы функция элемен- 
тарного события ф(®) была случайной величиной, необ- 
ходимо, чтобы каждому множеству А некоторого поля 
в пространстве ее значений она ставила в соответствие 
одно определенное множество элементарных событий, при- 
надлежащее полю ‹Р. Такие функции называются изме- 
римыми относительно соответствующих полей. 

Таким образом, любая случайная величина представ- 
ляет собой измеримую функцию элементарного события. 
Это принимается за определение случайной величины 
при построении теории ее на основе теории 
меры. 


$ 3. Обобщение понятия плотности 


3.1. Плотность дискретной случайной величины. Пре- 
дел в формуле (1), определяющей плотность, может суще- 
ствовать только в том случае, когда вероятность попа- 
дания случайной величины в Любой бесконечно малый 
интервал длины (объема в случае п-мерного пространства) 
Ах бесконечно мала. Если вероятность в (1) представляет 
собой бесконечно малую низшего порядка по сравнению 
с Ах при каком-нибудь значении х, то предел в (1) можно 
считать равным бесконечности и принять | (х) == со. Если 
же вероятность в (1) не стремится к нулю при Ах-+0, 
как, например, в случае дискретной величины Х, то 
определить плотность как обычную функцию вообще не- 
возможно. Определить плотность в таких случаях можно 
только с помощью обобщенных функций. 

Чтобы подойти к определению плотности дискретной ` 
случайной величины Х с возможными значениями ху,..., Хм 
и их вероятностями р,, .... р», рассмотрим отношение 
`В (1) при разных значениях х, предполагая, что ни один 
из интервалов (х,„, Х,.1) (Е=1,..., М—1) не содержит 
ни одного возможного значения величины Х. Если точка х 
не совпадает ни с одной из точек х,, ..., Хм, то при 
любом достаточно малом Ах интервал |[х, х-- Ах) не со- 
держит ни одного значения величины Х и вероятность _ 
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попадания в этот интервал равна 0. Следовательно, плот- 
ность |(х) дискретной случайной величины Х существует 
и равна нулю при всех хыЕх, ..., хм. При х =х, вероят- 
ность попадания в интервал |[х, х-{ Ах). равна р, при всех. 
достаточно малых Ах. Вследствие этого формула (1) дает 
Р(х) = со при х=х,, ..., хм. При этом вероятность по- 
падания в интервал (х,—е, х,-|+2) равна р, при любом 
достаточно малом => 0, так как этот интервал содержит 
значение х, величины Х и не содержит других ее зна- 
чений. С другой стороны, согласно формуле (10) вероят- 
ность попадания в этот интервал равна интегралу от 
плотности в пределах от х,—= до х,-:. Следовательно, 
при любом достаточно малом 2 > 0 | 


ХЕ+Е 


ороахерь . @=1,.... М). 3) 


Таким образом, плотность дискретной случайной ве- 
личины равна нулю всюду, кроме точек х,, ...,Хл, в кото- 
рых она «делает всплески ‘в бесконечность», причем 


т, 2, =. 22 2,142 ось 


Рис. 9. . 


«площади всплесков» в точках х,, ..., хм равны соответ- 
ственно р., ..., Рл. Такую плотность можно предетавить 
себе как предел плотности, равной нулю всюду, кроме 
малых интервалов (х„ —1, х,-Н Г) (Е =1,..., №), и равной 
соответственно р,/21, ..., ру/21 в этих интервалах (рис. 9), 
при /—+0*). Ясно, чТо этот предельный переход не опре- 


*) Само собой разумеется, что вместо прямоугольных «импуль- 
сов» на рис. 9 можно взять любые другие «импульсы», имеющие 
основание 2{ и площади, равные р:,..., Рм. 
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деляет плотность как функцию переменной х в обычном 
смысле, так как никакая функция не может удовлетво- 
рять условию (23) при любом 2 >> 0; интеграл от любой 
(интегрируемой) функции по бесконечно малому интер- 
валу бесконечно мал и веледствие этого не может_оста- 
ваться равным р, при произвольно малом е >> 0. Тем не 
менее подобные предельные переходы имеют определенный 
смысл и целесообразны для многих физических и техни- 
ческих приложений. Они приводят к понятию импульс- 
ной б-функции (см. приложение 1). 

Пользуясь 6- -функцией, можно определить плотность 
дискретной случайной ее Х формулой. 


Г = 2 ы руб (х —х,). (24) 


Действительно, подставив выражение (24) в (9),. прихо- 
дим к выводу, что вероятность попадания дискретной 
случайной величины в любую область А равна сумме 
вероятностей тех значений х,, которые содержатся в об- 
ласти А. Следовательно, задав плотность дискретной вели- 
чины Х формулой (24), мы полностью определяем. рас- 
пределение этой величины. 

3.2. Непрерывно-дискретные случайные величины. 
Кроме дискретных и непрерывных, в задачах практики 
встречаются и такие скалярные случайные величины, 
_ для которых отличный от нуля предел в (1) существует 
при всех х, кроме конечного или счетного множества 
значений х,,..., Хл, имеющих отличные от нуля вероят- 
ности р., ..., Рм. Такие случайные величины называются 
непрерывно-дискретными. 

Плотность непрерывно-дискретной скалярной случай- 
ной величины Х НЫ формулой 


Г(х)=рЬ (<) ь. руб (х—х»), (25) 
где |, (х)-—-неотрицательная функция, представляющая 
собой предел в (1) при х=Ех,, ..., хм*). 


*) Множество значений случайной величины, имеющих отличные 
от нуля вероятности, не может быть более чем счетным. В самом 
деле, не больше одного значения может иметь вероятность больше 1/2, 
не больше трех значений могут иметь вероятности в интервале 
(1/4, 1/2); и вообще не больше. 2РЬ—1 значений могут иметь вероят- 
ности в интервале (2-Р, 2-Р+1). Следовательно, ‘расположив все 
такие значения в порядке убывания о. их можно все 
перенумеровать. | 
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Для непрерывно- дискретной случайной величины Х 
формула (11) дает 


рода ур, 


Любая функция вида (25), удовлетворяющая этому 
условию и условию 1, (х) >20, может быть плотностью 
непрерывно-дискретной величины. 

3.3. Непрерывно-дискретные случайные векторы. Рас- 
пределение случайного вектора может иметь значительно 
более сложную структуру, чем распределение скалярной 
величины. Отличные от нуля вероятности могут быть 
сосредоточены не только в отдельных точках п-мерного 
пространства, но и на кривых, поверхностях, а при 
п>3 и на многообразиях большей размерности. В за- 
дачах практики встречаются только такие случайные 
векторы, у которых во всех точках пространства значе- 
ний, кроме, может быть, конечного или счетного множе- . 
ства многообразий с сосредоточенными вероятностями, 
существует предел конечный или бесконечныйв (1). Любой 
такой вектор имеет плотность, которая может и 
б-функции. Если на т-мерном многообразии Й (х) = 0, 
т < п, сосредоточена отличная от нуля вероятность р, 
то плотность случайного вектора Х содержит слагаемое 
вида 2(х)б (И (х)). При интегрировании по любым п—т 
координатам вектора х 6-функция исчезает и получается 
выражение д (х) | / (х) |, где согласно правилу замены пере- 
менных в кратном интеграле / (х) —якобиан координат 
вектора Й (х) по соответствующим п —т координатам век- 
тора х. Интеграл от этого выражения по оставшимся т 
координатам векторах равен р. 

Таким образом, если в пространстве значений век- 
тора Х положительные вероятности Рь ..., Рм сосредо- 
точены на многообразиях Й, (х) = 0, . й^(х) = 0, ав ос- 
тальных точках существует предел в о ), то плотность 
вектора Х определяется формулой 


№ | 
Р(х)==Р (х) + р 8, (х) 0 (й, (х)), _ (26) 


где [,(х), 2, (х),..., 6м(х) —неотрицательные функции, 
причем чем 2, (х), ..., @м(х) зависят от выбора соответ- 
ствующих функций И, (х),..., Вм(х). `В частности, урав- 
нение Р-го многообразия иногда можно записать, выра- 
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зив явно какие-нибудь координаты вектора х через. 
остальные. Приняв совокупность этих координат за век- 
тор х’, а совокупность остальных координат за вектор Ты 

представим уравнение многообразия в виде х’ -,(х”). 
Этому соответствует функция Й, (х) = х” —Фь (х’). При этом 
точку х», в которой сосредоточена вероятность р», можно 
считать многообразием нулевой размерности с уравне- 
нием х=х,. В этом случае В, (х) =х—хь и можно при- 
нять вх (Х) == В» (Хи) = Рь. | 

В частном случае дискретного вектора Х, все распре- 
деление которого сосредоточено в точках х., ..., Хм, 

Г, (Х) =0, 1, (х) =х—хь, 

В к (Х) = Рь (В =1,..., М) | 
и (26) принимает вид (24). В другом частном случае не- 
прерывного вектора предел в (1) существует во всех точ- 
ках пространства значений, 5, (х) =... ==@(х)==0 и 
[(х) =| (х). Во всех остальных случаях вектор Х будет 
непрерывно-дискретным. 

Как мы увидим в примере 4.5, координаты непре- 
рывно-дискретного случайного вектора могут быть непре- 
рывными величинами. 

3.4. Вырожденные распределения. Рассмотрим подроб- 
нее частный случай вырожденного распределения величи- 
ны Х,; полностью сосредоточенного на одном т-мерном 
многообразии, т < п, уравнение которого Й (х) =0 до- 
пускает явное решение относительно каких-нибудь п— т 
координат вектора х. Представив уравнение этого много- 
образия в виде х”=ф(х’), получим из (26) мы 
формулу для плотности вектора Х *): 


[(х)=8(х) 6 (—Ф(х))). (27) 
Таким образом, если случайная величина Х” является 
определенной функцией другой случайной величины Х’,` 
Х" =ф(Х’), то их совместная плотность, (плотность состав- 
ного случайного вектора Х ={Х', Х"}) определяется фор- 
мулой (27). Функция ©(х’) в (27), как мы увидим в при- 
мере 4.5, представляет собой плотность величины Х”. 
В частном случае вырожденного распределения вели- 
чины Х, сосредоточенного на подпространстве или сдви- 


“) Так как 6-функция в (27) равна нулю всюду вне многообра- 
зия Хх" =ф (х’), то функцию р (х) =в (х’, х’) можно заменить ее зна- 
чением на этом многообразии: в (х’, х) = (х,, ф (х’)) = а! (х’). Отбра- 
сывая индекс у найденной таким путем новой функции, получим (27). 


тэ 


нутом подпространстве, имеющем уравнение х" = Ах’ -- с, 
где А—в общем случае прямоугольная матрица, а с — 
вектор сдвига, формула (27) принимает вид 


Г =а(х')6 ("Ах —о). (28) 


3.5. Вероятность попадания в область. Дискретными, 
непрерывными и непрерывно-дискретными случайными 
величинами исчерпывается все множество случайных вели- 
чин, встречающихся в задачах практики. Мы показали, 
что для этих трех. типов случайных величин распреде- 
ление полностью определяется плотностью. Это дает осно- 
вание в приложениях теорни вероятностей принять 
плотность за основную характеристику распределения 
любой конечномерной случайной величины. При этом 
будет справедлива формула (9) для вероятности попада- 
ния случайной величины в любую данную область. Однако 
в общем случае при интегрировании в формуле (9) сле- 
дует учитывать все принадлежащие области А части ее 
границы, на которых сосредоточена отличная от нуля 
вероятность (накоторых аргументы 6-функций, входящих 
в [(х), обращаются в нуль). Так, например, при вычисле- 
нии вероятности попадания в интервал [©, В) следует 
учитывать, что вероятность значения © случайной вели- 
чины А может быть отличной от нуля. Тогда получим 


В-0 В-= 
Ра<х<в= \ годах Па ах. 


@-—0 


$ 4. Функция распределения 


4.1. Функция распределения и ее связь с плотностью. 
Функиицей распределения случайной величины Х назы- 
вается вероятность неравенства Х < х, рассматриваемая 
как функция параметра д: 


Е(х)=Р (Хх. (29) 


Функция распределения непрерывной, дискретной или 
непрерывно-дискретной случайной величины может быть 
выражена через плотность. Для этого достаточно вычис- 
лить вероятность неравенства Х < х в формуле (29) по 
формуле (9) или (10): 

х 
О-о а | (и) аи, (30) 


> 


где в п-мерном случае интеграл представляет собой п-крат- 
ный интеграл, причем интегрирование по переменной и; 
производится от — со до х; ((=1,..., И). 

Дифференцируя формулу (30) по х в случае скаляр- 
ной величины Х и вспоминая, что производная интег- 
рала по верхнему пределу равна значению подынтеграль- 
ной функции при этом верхнем пределе, получаем 


Г(х)=Р°(х). | (31) 
Таким образом, плотность скалярной случайной величины 
есть производная функции распределения. _ 
В случае векторной величины Х напишем формулу (30) 
в скалярной р 
д, хп. 


а Ве * Пе Па. саИ. 


—х _- © 


г 


и продифференцируем ее один раз по х;, один раз пох,, 
и т. д., один раз по х,. В результате получим | 


= д"Е (х, и жау Жы) : (32) 


(хр +.» Хь) ОУ кь ЭХ 


Таким образом, плотность п-мерной случайной вели- 
чины представляет собой симметричную смешанную про- 
изводную п-го порядка функции распределения. 

4.2. Свойства функции распределения скалярной вели- 
чины. Изучим свойства функции распределения‘скалярной 
случайной величины. 

1) Из формулы (30) следует, что функция распределе- 
ния — неубывающая функция х. 

2) Из (30) и свойства (11) плотности следует, что 

Е (— <) = Шм Р(х)=0, в Е (х)=1. 
х->-х® 

3) Из (30) и соглашения в п. 2.1 о том, как надо 
понимать интегралы от плотности, следует, что функция 
распределения непрерывна слева: Е (х) =Е (х—0). 

4) Функция распределения дискретной случайной ве- 
личины возрастает скачками в точках х,, ..., Хм СООТ- 
ветственно на р,,..., ру и постоянна в любом интер- 
вале, не содержащем ни одного из значений х,, ..., Хм, 
так как вероятность события Х < х не изменяется при 
изменении х в таком интервале. Таким образом, функ- 
ция распределения дискретной -случайной величины изо- 
бражается ступенчатой линией (рис. 10). 
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Рис. 11. 


5) Из свойств интеграла с переменным верхним пре- 
делом следует, что функция распределения непрерывной 
случайной величины непрерывна и дифференцируема на 
всей числовой оси. Однако ее производная может быть 
и разрывной функцией, как, например, в случае равно- 
мерного или показательного распределения (рис. 11). 

6) Функция распределения  непрерывно-дискретной 
случайной величины имеет точки разрыва х,, ..., хм со 
скачками соответственно р,, ..., Рм и непрерывна и диф- 
ференцируема во всех остальных точках числовой оси 
(рис. 12). 

4.3. Вероятность попадания скалярной величины в ин- 
тервал. Зная функцию распределения скалярной случай- 
ной величины, можно вычислить вероятность ее попадания 
в любой полузамкнутый интервал |“, В). 

№» В самом деле, так как события Х <аиа=<Х <В 
несовместны и их объединение есть событие х< В, то 


Р(Х<В=Р(Х < --Разх< В, 
откуда в силу (29) следует — 
Ра<х<в=Е®)—Е (9). 4 - (33) 


Таким образом, вероятность попадания случайной вели- 
чины в данный интервал равна приращению ее функции 
распределения на этом интервале. 

Положив в (33) В=а-- в, > 0, и устремив 2к нулю, 


получаем 
Р(Х=а) =Е(а- 0) —Р (6). (34) 


Таким образом, вероятность попадания случайной вели- 
чины в данную точку равна скачку ее функции распреде- 
ления в данной точке. 


Пример 12. Найти закон распределения времени Т безЗотказ- 
ной работы системы © момента начала эксплуатации при постоянной 
‚ интенсивности отказов А (см. пример 1.11). 

Найдем сначала функцию распределения этой случайной вели- 
чины, т. е. вероятность того, что случайная величина Т будет меньше, 
чем #: Р(И=Р(Т < В. Но это есть вероятность того, что система 
откажет до момента #. Вероятность безотказной работы системы до 
момента #, т. е. Р(Т >, представляет собой функцию надежности 
системы р (1. При постоянной интенсивности отказов А функция 
надежности р (1) =е-№. Следовательно, 


Е()=РАТ < д =1-Р (Ты) =1-=р(=(1—в-М) Ц. 


При #<0 эта вероятность равна 0, потому что исправная система 
не может отказать до начала ее эксплуатации (конечно, предпола- 
гается, что ее начинают эксплуатировать в исправном состоянин). 
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Следовательно, Ё (1) =0 при Ё<0. Дифференцируя полученную 
формулу, находим плотность времени Т безотказной работы 


(= - мо. 


‚Таким образом, время безотказной работы системы (момент пер- 
вого отказа).при постоянной интенсивности отказов А имеет пока- 
зательное распределение с параметром А =^. 

Пример 13. Найдем распределение интервала времени Т между 
двумя последовательными событиями пуассоновского потока событий 
постоянной интенсивности А. В этом случае среднее число событий, 
происходящих в интервале времени длительности {, равно п =. 
Функция распределения интервала Т между двумя последователь- 
ными событиями потока есть, очевидно, вероятность того, что в ин- 
тервале времени длительности { произойдет хотя бы одно ‘событие: 


Е()=Р(Т < 0. 


Вероятность противоположного события —в интервале времени дли- 

тельности { не произойдет ни одного события — вычисляется по фор- 

муле (1.46) при ци =АЁ, т=0: 
„ 


| | Ро=е-№. 
Следовательно, 
Е (1) =1—ро=1—е-М. 


Но это—та же формула, которая была получена в предыдущем при- 
мере для функции распределения времени безотказной работы сис- 
темы. -Гаким образом, интервал времени между двумя последователь- 
ными событиями в пуассоновском потоке постоянной интенсивности 
представляет собой случайную величину, распределенную по пока- 
зательному закону. 

Пример 14. `Некоторая система эксплуатируется в течение 
времени #. Если она откажет в течение этого времени, то ее ремон- 
тируют и снова используют, пока она не прослужит срок 25. Найти 
закон распределения времени $ раози системы после первого ре- 
монта. 
| Очевидно, что случайная величина $ связана с временем Т ра- 
боты системы до первого отказа соотношениями 


$ =0 при Т= В, $ =1-—Т при Т < &. 


Так как 5 —>0, то при $ < 0 ее функция распределения С ($) равна 0. 
При $ > 0 она выражается через функцию распределения РЁ (1) вре- 
мени Т безотказной работы системы формулой 


= (3 < $) =Р (%к—Т <з3)=Р (Т >4—$) = 


. < =1-— РТ < 6—5) =1-Р (1—5). (1 
Подставляя сюда выражение Р ({) из примера 12, получаем 
6 ($) =е-^ (№-9 при 0О<$< в. - (11) 
ОЕ р при $ > {, так как 5 < 2%. Из (11) видно, что 
во =е-^*. 


‚Таким образом, функция С (5) имеет разрыв со скачком в №№ 
в точке $=0. Во всех остальных точках числовой оси она непре- 
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рывна. При любом $Е (0, &,) она имеет производную де-^-Я. а при 
любых $ < О и $ > $, ее производная равна нулю. Следовательно, $ 
представляет собой непрерывно-дискретную случайную величину 
с одним исключительным значением. Ее плотность определяется фор- 
мулой | 
са? №27 ^ 8-76 (5) ‘при $610, #41, 
8 ($) =(” ($) = 
|1 о при $410, о]. 


Пример 15. Текущее значение входного сигнала Х нелиней- 
ного элемента представляет собой непрерывную случайную величину 
с функцией распределения РГР (х). Зависимость. текущего значения 
выходного сигнала У этого элемента связано со значением входного 
сигнала Х в тот же момент времени` соотношением 


| Х при |Х|<а, 
У а при Х >а, 
| | —а при Х < —а 


(элемент с такой характеристикой называется ограничителем). Найти 
распределение выходного сигнала. 

Ясно, что функция распределения С (у) случайной величины У 
равна 0 при любом у=<— а (неравенство У < у при у<=р—а невоз- 
можно) и равна | при любом у > а (событие У < у при и> а досто- 
верно). При |у|<а событие У <у совпадает с событием Х < у. 
Следовательно, С(у)=Е(и) при |у|< а. Очевидно, что если 
Е (--а) > 0, Е (а) < 1, то функция распределения С (у) имеет разрыв 
со скачком Ё (—а) при у=—а и разрыв со скачком 1—Р (а) при 
у==а. При всех остальных значениях у функция С (у) непрерывна и 
дифференцируема. Следовательно, в этом случае У представляет собой 
непрерывно-дискретную случайную величину’ с двумя исключитель- 
ными значениями —а и а. Ее плотность определяется формулой 

& (у) =[ (и) ЕЕ (—а) 6 (у а) НИ —Р (@) 16 (у—а) при |у|<<а, 
где | (х) — плотность случайной величины` Х. Вне интервала (—а, а) 
5 (у) =0. | 

Пример 16. Пусть Х — непрерывная случайная величина 
с плотностью }(х). Найти закон распределения длины пересечения 
случайного интервала (Х— 1, Х-+-И с данным интервалом (а, 6), 
предполагая, что 2] < — а. Примером практической задачи такого 
типа может служить, например, следующая задляча из теории стрель- 
бы. Войска противника сосредоточены на участке линии фронта от 
точки а до точки 6. При выстреле снаряд уничтожает на линии 
фронта все на интервале длины 21. При этих условиях снаряд по- 
ражает войска противника, расположенные на той части интервала 
(а, 6), которая накрывается` случайным интервалом (Х— 1, Х-+ ИД, 
где Х — случайная координата центра зоны поражения. Подобные 
задачи о перекрытиях часто возникают в теории стрельбы. 

В зависимости’ от значения х величины Х накрытая часть ин- 
тервала (а, 6) будет равна или 21 (рис. 13, а), или нулю (рис. 13, 6), 
или любому промежуточному значению в интервале (0,21) (рис. 13, в- 
и 13,2): | 

И=0 при Х <а—[Ги при Х > Ь-ЕЕ 
И=Хр—а--1 при а-1<Х <а- 1, 
И=ь--1—Х при 6—1 < Х < ЬЬ 
И=21 - при а+ 1 <Хх <6-— 4. 
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Для выполнения неравенства И «и при 0 < и<?2{ необходимо, 
чтобы удовлетворилось одно из двух несовместных неравенств 


а т- хх 5+ д 


ы | а т-й те 


Рис. 13. 


Х—а--1<и или ре 1—Х < и. Поэтому функция распределения 
С (и) случайной величины И определяется формулой’ 


С (и) =Р(И < сео! <и-Р (6411-Х <= 
=—Р(Х < и--а-—П--Р(Х> Ь-+ 1-—и) 


Выразив последние вероятности `Черев плотность по формуле (10), 
получны 


—щ 


и+а-1 © | 
в0= \ Гоа | Гоа, [о 
- < +/1-ц | 
+1 -и 
В (и =1— \ | (х) ах. | (11) 
и+а-—1 


Так как накрытая часть интервала (а, 5) не может быть отрицатель- 
ной, то С (и) =0 при и=0. А вследствие того, что И не может пре- 
восходить 21, событие И < и достоверно при любом и> 21, вслед- 
ствие чего С (и)=1 при и > 2/. Но из формулы (11) следует, что 


Ь-+1 | 
В [6 й =] ы Е (х) ах, | 
| ь-1 
ол \ 1 (<) 4х 
| а+1 


Следовательно, функция распределения С (и) терпит разрывы в точ- 
ках и=0 и и=2[ со скачками, равными соответственно 


Ь-+1 
р1= Ши 6 (и) =1-— \ 1 (х) ах, 
иц->0. И 


Ь-[ 
рз=1-—0 (2) =1— \ (>) ах. 


а+1 


Таким образом, накрытая часть интервала (а, 5) представляет 
собой непрерывно-дискретную случайную величину И, реализации 
которой сплошь заполняют интервал [0,21], и при этом вероятности 
двух исключительных реализаций 0 и 2[ отличны от нуля. 

Плотность накрытой части интервала (а, 6) на основании (31) 
определяется формулой 


& (и) = &1 (и) -- рлб (и) -- р26 (и—21, (1) 


где д; (и) =0 при и=< 0 и при и=?2[, а в интервале (0,21/) равна 
производной функции распределения С (и), определяемой формулой 
(Г) и (11). Дифференцируя формулу (1) по правилу дифференциро- 
вания определенного интеграла по верхнему и нижнему пределам, 
получим при 0 < ц.< 21 | 


$1 (и) = 06° (и) =[(и а П-Е@-1—иц). (ТУ) 


Естественно возникает вопрос: существуют ли слу- 
чайные величины, не относящиеся ни к одному из рас- 
смотренных трех классов случайных величин, с кото- 
рыми приходится встречаться в задачах практики? Чтобы 
убедиться в том, что существуют, достаточно привести 
пример такой случайной величины. 


Пример 17. Рассмотрим случайную величину Х, функция рас- 
пределения которой РЁ (х) определяется следующим образом: прини- 
мается РЁ (х) =0 при х=< 0, РЕ (х) =1 при х=1; затем интервал (0, 1) 
делится на три равные части и в средней части (при хЕ (1/3, 2/3]) 
принимается Р (х) = 1/2; каждая из оставшихся. частей снова делится на 
три равные части, и в средних частях принимается соответственно 
Е (х) =1/4 и Р(х) = 3/4; каждая из оставшихся частей в свою очередь, 
делится на 3 равные части, и на средних частях РЁ (х) принимается рав- 
ной соответственно 1/8, 3/8, 5/8, 7/8; этот процесс деления оставшихся 
частей на 3 равные части продолжается неограниченно; и каждый 
раз на средней части РЁ (х) определяется как среднее арифметическое 
се значений на соседних интервалах, на которых она уже опреде- 
лена (рис. 14). При этом в силу свойства непрерывности функции 
распределения слева Р(х) определится и во всех точках интервала 
(0, 1), не принадлежащих ни одному из интервалов, на которых она 
определена описанным образом. Ясно, что построенная таким путем 
функция распределения Р (х) непрерывна. Суммарная длина интер- 
валов, на каждом из которых она постоянна, равна |1. Действитель- 
но, один интервал постоянства Ё(х) имеет длину 1/3, два имеют 
длину 1/9, четыре— 1/27, и вообще 2Р интервалов постоянства Ё (х) 
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‚имеют длину 1/3Р+1. Следовательно, суммарная длина всех интер- 
валов постоянства Р (х) равна 


[2 
| 2.4 2Р 1 Уи Р 
з+эя+.. += (3) - 
{ р= 


Таким образом, суммарная длина ингервалов постоянства Р (х) сов- 
падает с длиной интервала (0,1), на котором она изменяется от 0 
до 1. Следовательно, множество точек роста функции РЁ (х) имеет 


1/5 | 2/3 
Рис. 14. 


нулевую меру *). Несмотря на это, множество точек роста функции 
Е (х) несчетно. В самом деле, функция Р (х) непрерывна, вследствие 
чего ее изменение в любой точке (не на интервале, а в одной точке) 
равно нулю, и если бы множество ее точек роста было счетным, то 
она вообще не могла бы изменяться и была бы постоянной (сумма 
счетного множества нулей всегда равна нулю как сумма бесконеч- 
ного ряда, все члены которого равны нулю). 

Таким образом, функция Р (х) непрерывна и имеет производную, 
равную нулю, во всех точках числовой оси, кроме ` несчетного мно- 
жества точек ее роста, имеющего меру нуль. В точках же роста 
функция ЁР(х) не имеет производной. Очевидно, что случайная вели- 
чина с такой функцией распределения не является ни дискретной, 
ни непрерывной, ни непрерывно-дискретной.. | 

Чтобы дать более общий пример, обозначим только что опреде- 
ленную функцию распределения через Ро (х). Пусть ф (х) — монотонно 
возрастающая функция с произвольной областью определения на 
числовой оси и с областью значений [0, 1], ф (х) — монотонно воз- 
растающая функция, отображающая интервал [0,1] на себя (т. е. 
с областью определения и областью значений [0, 1]). Очевидно, что 
случайная величина с функцией распределения Р (х) =ф(ЁЕо(ф (х))) 
также не будет ни дискретной, ни непрерывной, ни непрерывно- 
диск ретной при любом выборе монотонно возрастающих функций фи {}. 


*) См. сноску на стр. 63. 
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В дальнейшем будем рассматривать только такие слу- 
чайные величины, которые имеют плотность, возможно 
содержащую линейную комбинацию 6-функций. 

4.4. Вероятность попадания ‘случайного вектора в пря- 
моугольник. Пусть Х —п-мерный случайный вектор, Ё(х)— 
его функция распределения. Обозначим через АР при- 
ращение функции распределения Р (х) при изменении А-Й 
координаты х, вектора х и при неизменных значениях 
_х; остальных координат, 15. На основании аксиомы 
сложения величина А7”Ё представляег собой вероятность 
попадания величины Хх в прямоугольник со стороной /[ 
по Ё-й оси и с бесконечными в обоих направлениях сто- 
ронами по остальным осям. 

Применяя последовательно аксиому сложения, при- 
ходим к заключению, что вероятность. попадания слу- 
чайного вектора Х в прямоугольник №, сторонами кото- 
рого по осям Хх,, ..., Ххк, служат интервалы Г:,...,[,, 
а остальные стороны которого совпадают с соответствую- 
щими координатными осями, определяется формулой _ 


Р(ХЕЮ)=№.9. С МРЕ. (35) 


4.5. Свойства функции распределения случайного век- 
тора. Изучим основные свойства функции распределения 
случайного вектора. 

1) Из определения (29) и неотрицательности плот- 
ности следует, что функция распределения Е(х) случай- 
ного вектора Х является неубывающей функцией каждой 
из координат вектора х. 

2) Из (29) и свойства (11) плотности следует, что 
Е(х)—+0, когда хотя бы одна координата вектора х 
стремится к —<0, и Р(х)—*1, когда все координаты 
вектора х стремятся к -- <. 

3) Из (29) и соглашения в п. 3.5 о том, как надо 
понимать интегралы от плотности; следует, что функция 
распределения Е(х) непрерывна слева по каждой коорди- 
нате вектора х. 

4) Из формулы (35) следует, что 


р 
для любых натуральных р < п, любых Е, ...,К„1 < 
нью. к < и, и любых интервалов Г., ..., 


Любая функция Р(х), обладающая этими четырьмя 
_свойствами (точнее, свойствами 2), 3) и 4), поскольку 
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1) представляет собой следствие свойства 4)), может быть 
функцией распределения случайной величины. 
_ Это доказывается совершенно элементарно, если су- 
ществует производная Р’(х) (ЁЕ’(х)=д"Ё (х)/дх,...дх„ 
в случае п-мерного вектора Х), возможно содержащая 
линейную комбинацию 6-функций. В этом случае по до- 
казанному в 55 2и 3 существует случайная величина Х, 
для которой |(х)=Е°(х) служит плотностью. Функция 
Е(х) служит для этой величины Х функцией распреде- 
ления. | | 
Доказательство в общем случае требует привлечения 
теорни меры и здесь не приводится. | 


Глава 3 


ЧИСЛОВЫЕ ХАРАКТЕРИСТИКИ СЛУЧАЙНЫХ 
ВЕЛИЧИН 


$ 1. Математическое ожидание. 


1.1. Математическое ожидание дискретной случайной 
величины. Распределение полностью характеризует слу- 
чайную величину. Чтобы определить распределение слу- 
чайной величины, надо задать ее плотность вероятности 
или функцию распределения. Однако такая полная, ис-. 
черпывающая характеристика случайной величины до- 
вольно сложна. Между тем для решения многих задач 
практически вовсе не нужно знать распределения слу- 
чайных величин, а достаточно знать лишь некоторые 
числа, характеризующие их распределения, так назы- 
ваемые числовые характеристики случайных величин. Для 
грубой характеристики скалярной случайной величины 
можно, так же как в $ 1.2, ограничиться ее средним 
значением и величиной разброса возможных значений. 

Чтобы подойти к определению среднего значения слу- 
чайной величины по данному ее распределению, рас- 
смотрим выборочное среднее дискретной случайной ве- 
личины Х с возможными значениями х,,“..., хм и веро- 
ятностями этих значений р,, ..., рм соответственно. Оче- 
видно, что при достаточно большом числе опытов п 
каждое из значений х., ..., Хл должно появляться мно- 
гократно. Мредположим, что величина Х приняла т; 
раз значение х,, т, раз значение х,, и т. д., тм раз 
значение хл, т--...-- туи=и. Тогда выборочное сред- 
нее выразится формулой 


№ М№ 
х а Тьхь = ый . 
#=|. ^=1 


Но т,/п есть частота” значения х, (&=1, ..., М). Сле- 
довательно, выборочное среднее дискретной случайной 
величины равно сумме всех ее Возможных значений, ум- 
ноженных на их частоты. 
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При неограниченном увеличении числа опытов п час- 
тоты значений х,, ..., хм стремятся стабилизироваться 
около их вероятностей. Поэтому, чтобы определить сред- 
нее значение случайной величины Х как абстрактную 
характеристику ее распределения, достаточно заменить 
в полученной формуле частоты т,/п, ..., тл/п значений 
х,..., Хм Их вероятностями р:,..., Ру. Это приводит 
к следующему определению. | 

Математическим ожиданием или средним значением 
дискретной. случайной величины называется сумма всех 
ее значений, умноженных на их вероятности. 

Математическое ожидание случайной величины Х мы 
‘будем обозначать МХ или, сокращенно, т. *). 

На основании данного определения математическое 
ожидание дискретной случайной величины Х выражается 
формулой | о 


№ 
т„=МХ= № ЛкрРь. | (1) 
=1 


Математическое ожидание произвольной (однознач- 
ной) функции ф(Х) дискретной случайной величины Х 
на основании данного определения выражается формулой 


М 
Мф о ф (х»ь) Ре. | (2) 


Действительно, в данном случае величина У=ф(Х) 
представляет собой. дискретную случайную величину 
с возможными значениями Ф(х,), ..., Ф(хм) и вероят- 
ностями этих значений, равными р:, ..., р» соответ- 
ственно. Если некоторые из значений ф(х,) функции 
ф(х) совпадают, то вероятность этого общего значения 
величины У=ф(Х)` равна сумме соответствующих веро- 
 ятностей р,. Таким образом, формула (2) определяет 
математическое ожидание величины У=Фф(Х) и в этом 
случае. | 

‚ 1.2. Общее определение математического ожидания. 
Пользуясь формулой (2.24) для плотности дискретной 
случайной величины, можно записать (2) в виде 

ый - | 
МФ(Х)= \ $(%) (4х. (3) 
а 


*) Иногда, особенно в иностранной литературе, математическое 
ожидание величины Х обозначается ЕХ от английского ехрес{е@ 
уа|ице (ожидаемое значение). 
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Эту формулу естественно положить в основу определения 
математического ожидания для случайных величин всех 
трех типов, встречающихся в задачах практики. 

Математическим ожиданием функции Фф(Х) случайной 
величины Х с плотностью [(х) называется интеграл (3). 

‚В частном случае непрерывной величины Х и кусочно 
непрерывной функции Фф(х) ‘интеграл (3) представляет 
собой интеграл Римана. 

Ясно, что математическое ожидание функции Ф(Х) 
существует тогда и только тогда, когда 


[#2] 


ФАО ах < ®*). |  @ 


_-© 


_ Чтобы получить формулу для вычисления математи- 
ческого ожидания функции Фф(Х) в случае непрерывно- 
дискретной величины Х, подставим в (3) выражение 
(2.25) ее плотности. 
Тогда получим 
мф(х)= } за ХФ. © 5 
Если в частном случае областью возможных значе- 
ний величины Х служит не вся числовая ось, а только 
какой-нибудь ее интервал (а, 6), то плотность } (х) равна 
нулю вне этого интервала и интегрирование в (3) про- 
изводится от х=а до х=р. В-этом случае интеграл (4), 
а следовательно, и, математическое ожидание величины 
ф(Х) заведомо существует. 


*) Если интеграл (4) расходится, то ‘расходится по крайней мере 
один из интегралов 


\ ф- (*) 1 (%) ах, \ фу (х) (х) ах, 


где ф_ (х) =пиа {0, ф(х)}; Ф+ ми {0, ф (х)}. Если расходится 
один. из них, то Мф (Х) = —® или Мф (х) = -- ®. Если расходятся 
оба, то 


Ь 


\ 909 19 ах 


_а 


не стремится ни к какому пределу, когда а и 6 неограниченно воз- 
растают независимо одно от другого. | 
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В частном случае при ф (х) =х формула (3) определяет 
математическое ожидание случайной величины ДХ: 


[® 
й 


т, = МХ = } хР(» ах. `` (6) 


В случае векторной величины Х интегралы в (3) и 
(6) представляют собой кратные интегралы, распростра- 
ненные на все пространство значений величины Х. Функ- 
ция ф(х) в (3) может быть скалярной (действительной 
или комплексной), векторной или матричной. При этом, 
как обычно, интеграл от векторной (матричной) функ- 
ции понимается как вектор (матрица), координатами 
которого (элементами которой) служат интегралы от соот- 
ветствующих координат векторной (элементов матричной) 
функции. 

Принимая во внимание сказанное, приходим к вы- 
воду, что математическое ожидание т, случайного век- 
тора Х с координатами Х,, ..., Х, представляет собой 
вектор с координатами т, -=МХ,, 5-Й, == АЛ, 

1.3. Свойства математических ожиданий. Основные 
свойства математического ожидания вытекают непосред- 
ственно из свойств интеграла. 

1) Если функция ф(х) представляет собой постоян- 
ную ф(х)=с, то в силу свойства (2.11) плотности веро- 
ятности 


© |*е) 


Ме= \ < (фах=е \ Коах=е. (7) 


= 0 = 


Таким образом, математическое ожидание неслучайной 
величины равно самой величине. 
= 2) Далее, из свойств интеграла следует 


© п 


м Усы (Х)= } Усы Год ах= 


® ^= 


[*е) 


= Хо | «@Гак= ХсьМеь(Х). 8 


Заметим. теперь, что любые комплексные случайные 


величины Х,= А, --1А, (Е=1, ..., п) можно рассмат- 
ривать как функции 2п-мерного случайного о Хх 
с координатами АЛ; Х, ..., Х» АХ А, =9(Х) 
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(=1,..., п) *). Поэтому из (8) следует, в частности, 
что для любых скалярных случайных-величин Х\,..., Х 
действительных или комплексных, 


м У с«Х в х с.МХ,. = (9) 


Таким образом, ‘математическое ожидание линейной 
функции случайных величин равно той же самой функции 
от их математических ожиданий (свойство линейности 
операции математического ожидания **)). 

В частном случае п == =] отсюда следует, что при ум- 
ножении случайной величины на число ее математическое 
ожидание умножается на то же число. 

-) ПВН бете Е. ИВ (9) вытекает теорема сло- 
жения математических ожиданий: математическое ожи- 
дание суммы случайных величин всегда равно сумме их 
математических ожиданий: | 


мух, - УМХ, | (10) 
р = 

4) Ясно, что формулы (7) — (10) справедливы. как для 
скалярных величин, так и для матричных (в частном 
случае — векторных, если пользоваться представлением 
векторов в виде матриц-столбцов) величин с, Х,с,,...,С,, 
и Арье ИЕ следует, что для любой неслучайной 
матрицы С’и случайной векторной или матричной вели- 


п? 


чины Х. | 

МСХ = СМХ. | _ (11) 
Точно так же из (9) вытекает формула 

МХС= (МХ) С. (12) 


Само собой разумеется, что в случае прямоугольных (не 
квадратных) матриц С и Х буква С в (11) и ны не мо- 
жет означать одну и ту же матрицу. 

Комбинируя` (7) и (11), получаем 


М (АХ а.) = АМХ а. (13). 


и В $ 4.1 будет показано, что, рассматривая действительную 
случайную величину как координату некоторого случайного вектора 
и вычисляя ее математическое ожидание как математическое ожида- 
ние функции этого случайного вектора по формуле (6), мы получим 
тот же результат, что и при вычислении по формуле (3). 

**) Операцией или оператором математического ожидания мы 
называем переход от случайной величины к ее математическому- ожи- 
данию. 


УЕ 


$2. Моменты второго порядка 


2.1. Дисперсия. Теперь можно определить абстракт- 
ные аналоги всех выборочных числовых характеристик 
$ 1.2. Для этого достаточно заменить все выборочные 
средние математическими ожиданиями. Предварительно 
введем понятие центрированной случайной величины. 

Центрированной случайной величиной называется раз- 
ность между случайной величиной и ее математическим 
ожиданием, т. е. отклонение случайной величины от ее 
математического ожидания. Мы будем отмечать центри- 
рованные случайные величины индексом О сверху, 

°=Х—т,, У’=Ур—т, ит. д.. 

Дисперсией скалярной случайной величины называется 
математическое ожидание квадрата модуля соответствую- 
‘щей центрированной случайной величины. | 
о Дисперсию случайной величины Х будем обозначать 
ОХ или, сокращенно, 2, *): 


| р,=рх=мМ|Хр=М|Х—т, |. . (14) 


_ Средним квадратическим или стандартным отклоне- 
нием в, случайной величины Х называется положитель- 
ный квадратный корень из ‚ее дисперсии: 


‹,=ИБ.=УБХ. (15) 


Чтобы получить формулу для вычисления дисперсии, 
достаточно положить в общей формуле (3) для матема- 
тического ожидания функции случайной величины ф (Х) = 
= | Х° |? =|ХЬ— т, и соответственно ф(х)=|х—т; |. 
Если Х — действительная случайная величина, то фор- 
мула (3) даст. 

[= 
р.=0Х = \ (х—т,)* | (9 4х, (16) 
-_ © 


где } (х) —плотность величины Х. Если Х — комплексная. 
случайная величина Х=Х’-Х”, то формула (3) даст 
- х ФФ 
р.=рх= А тв, х) ах ах, (1) 
—-х -—х> 
где {(х’, х’) —совместная плотность случайных величин 
Х’и Хх" | 
| *) Иногда, особенно в иностранной литературе, дисперсия ве- 
личины Х обозначается УХ от английского уайапсе (изменчивость). 
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Подставив в (16) выражение (2.24), получим формулу 
для дисперсии действительной дискретной случайной ве- 
ЛИЧИНЫ: 


« 


М > =. 
р,=РХ = У (ль —т,) ры (18) 
д} . 


Подставив в (16) выражение (2.25), получим формулу 
для дисперсии непрерывно-дискретной случайной ве- 
ЛИЧИНЫ: 


[=] 


к М 
р:=РХ = } (те дах Хь—ть)* рь. (19) 


Пример 1. Найти математическое. ожидание и дисперсию 
числа Х появлений события А при п независимых опытах, если ве- 
роятность события А в каждом опыте равна р (биномиальное рас- 
пределение — пример 2.1). 

По формуле (2) находим 


п 


| Е 
тх — У тРт, п== У, тСпртат-т, д=1— р. 


т=0 т=о0 


Для вычисления этой суммы воспользуемся производящей функ- 
цией (1.25): 


п 


Фи (и) = р Рт, пи" = (4 + ри)”. 


т=0 


Дифференцируя эту фэрмулу по и, получаем 


фи (и) = У Ри, пит -1 = пр (9-Е ри)"-*, (1) 
т=0 | 
Положив здесь и=| и учитывая, что 9 р=!|, находим 


п 


У пРи, п = Фа (= пр. 


т=0 


Таким образом, т. ==ир. | 
Для вычисления дисперсии воспользуемся ‘формулой (17): 


= Уи ры Уна 


т=0 


— пр У тРт, в-- п? р? > Рыла (11) 


т=0 


Й 


Вторую сумму здесь мы уже вычислили, она равна пр. Третья сумма 
равна | в силу основного свойства дискретных распределений (то 
же, конечно, получится, если положить в-выражении производящей 
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функции (1.25) и=1). Для вычисления первой суммы умножим (1) 
наци ПА результат по и: 


г [ифи (и) | = ср тР в, ни = у. т?Р т. вит- 


т= 


=. [при (9- ри)" ] ==пр (9-- при) р 


Положив здесь и==|, Вахедим 
п й | __ 
, 
> т?Р в, п зат [ ифи (и) | | = пр (9-1 пр). 
т=0 
Подставив найденные выражения сумм в (П), получаем О..=прд. 
П ‚ример 2. Найти математическое ожидание и дисперсию слу- 


чайной величины Х , распределенной по закону Пуассона (пример 2.3). 
По формуле (2) находим математическое ожидание: 


` 1 2 р: ы 
=ие-® Е. НЫ...) 5 пей жр. 


По формуле (18) находим дисперсию: 


- т г 
иной ,) ры = Ут Пе 


[= [® =) | 
т _ т _ 
— (2—1) те И? > те и, (ПГ) 
т=0 


т=1 


Вторую сумму мы уже вычислили, она равна |4. Третья сумма равна 1. 
Остается вычислить первую сумму: 


Ут Е ет 


Подставив найленные выражения сумм в (Ш), получаем Вх =ь. 
Таким образом, математическое ожидание и дисперсия случайной 
величины, распределенной по закону Пуассона, равны параметру и 
в (1.46). 

Пример 3. Для равномерно распределенной в интервале (а, 6). 
случайной. величины Х (пример 2.5) формулы (3) и (17) дают 


| Ь 
_ С хах _а-ь —_( а--ь —_ 6 — а) 
т ре р.=\ (=— ЕР: 5—а 1. 


При мер 4. Для случайной величины Х, распределенной по 
показательному закону. (пример 2.8), получаем 


[4] ? 

1 1 \3 1 

пт [мы-ака 1, 2. (+=) ке-*х 4х = д. 
0 | бе 


Пример 5. В условиях примера 2.14 математическое ожида- 
ние и дисперсия времени $ работы системы после первого ремонта 
определяются по формулам (5) и (19): 


15 
Тс == | 5ле“ А (16-945 -| 0.е-^* = —3- (1-0). 


10 
2 
р,= | [8-Х (ем) ле-^ № —5) 45-- 
. ь 


| ие а 20 „- № 
+ [о-в ›| ь ==з (1—е ре : 


Пример 6. В качестве примера случайной величины, не имею- 
щей математического ожидания и дисперсии, рассмотрим случайную 
величину Х, распределенную по закону Коши, который определяется 
плотностью 

1 Ь 
Е ут 20 
Г ) = п | (х— а)? | ( ) 


В этом случае 


[в 9 =) 
Ь ах ] Ь [’ иац 
и | рота | о триа а | ия 
—ю = 
| (У) 
Несобственный интеграл в этой формуле расходится, так так 
<) 
|м| 4“ _ иаи р 
1 
— © 


Следовательно, случайная величина Х не имеет математического 
ожидания. Однако если учесть симметрию распределения Коши от- 
носительно точки @ и соответственно понимать интеграл в (ПУ) 
в смысле главного значения Коши [69, 109], то будем иметь 


В этом случае дисперсия случайной величины Х определится фор- 


мулой | 
|=) [=] 
== | _(х— дах _ Ь? | и? аи _ 
д 6З- (х— а) — д 1-43 — 
| _ 9 _ © 


Таким образом, случайная величина, распределенная по закону 
Коши, не имеет дисперсии даже в том случае, если ее математиче- 
ское ожидание считать существующим и равным а из соображений 
симметрии. | 


2.2. Ковариация. Ковариацией скалярных случайных 
величин Х и У называется математическое ожидание 
произведения центрированной первой случайной вели- 
чины и сопряженной центрированной второй случайной. 
величины: | 


ве МхХву. —  (@) 


Чтобы получить формулу для вычисления ковариации 
‘действительных случайных величин Х и У, достаточно 
рассматривать Х‘°У° = (Х —т,) (У —т,) как функцию слу- 
чайных величин Хи Уи применить формулу (3): 


а мт) бабу, (22) 


где | (х, у) совместная плотность величин Х и У. 
Чтобы получить формулу для вычисления ковариации 
комплексных случайных величин Х=Х’--Х” и У= 


= У’-- ИУ”, достаточно рассматривать произведение Ху? 
как функцию четырехмерного случайного вектора с коор- 
динатами Х’, Х”, У’, У”. Тогда получим 


„= \ ) | ) (хо Нах" —т,) (у’— Ш —т,)х 


А.И) ах’ ах” ау" ау”, (23) 


где |(х’, Хх’, и’, у”) —совместная плотность случайных 
величин Х’, Х", У’, У”. 

За характеристику зависимости между двумя случай- 
ными величинами Х и У принимается отношение их 
‘ковариации к произведению их средних квадратических 
отклонений. Эта безразмерная величина называется 
коэффициентом корреляции величин Х и У: 


Ах Ах 
с, УШ,.0, 


© 
Гху — (24) 
Таким образом, чтобы получить числовые характери- 
стики двумерного случайного вектора, следует добавить 
к математическим ожиданиям и дисперсиям его коордн- 
нат еще их ковариацию или коэффициент корреляцни. 


96 


Очевидно, что ковариация случайной величины Х 
с самой собой равна ее дисперсии, №,,=0),, а ее коэф- 
фициент корреляции с самой собой равен единице, г,„= 1; 
„=О,, Г, =1 и в более общем случае, когда У’ = Х®, 


ту == ту. . 


Пример 7. Найти ковариацию координат случайного вектора, 
равномерно распределенного на прямоугольнике |х|<а, |у|<Ь 
(пример 2.10). 

Подставив в (22) выражение (2.20) плотности и имея в виду, 
что в данном случае т. = ту ==0, получим | 


[ 


а 

ху 

Ёху = | | лав 9 ду=0. 
-а-ь 


Пример 8. Для двумерного случайного вектора с равномерным 
распределением внутри эллипса -х?/а?-|- у?/6?=1 (пример 2.10) 
тх=ту=0 и 


Пример 9. Для двумерного случайного вектора с равномер- 
ным распределением внутри эллипса х?/а?-- (у—сх)?/6?=1 ту = 
—= И у=0и 


а  сх+ЬУ1-Х2] а? . 
— и 
№ху = \ ах в ау 4 { 


-а сх-ьИт 21а 


2.3. Коррелированные и некоррелированные случайные 
величины. Зависимость между случайными величинами, 
характеризуемая коэффициентом корреляции, называется 
корреляцией. Случайные величины называются коррели- 
рованными, если их коэффициент корреляции отличен 
от нуля. Случайные величины называются некоррелиро- 
ванными, если их коэффициент корреляции равен нулю. 

Из (24) следует, что случайные величины не коррели- 
рованы тогда и только тогда, когда их ковариация равна 
нулю. | | 

Легко видеть, что для некоррелированности случай- 
ных величин достаточно, чтобы их совместное распреде- 
‚ ление было симметрично относительно какой-нибудь пря- 
мой, параллельной одной из осей координат. 
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Пример 10. Ковариация случайных величин. Х и У=Х? 
в случае равномерного распределения Х в интервале (— а, а) равно 0: 


а 
х (х?—т,) 
ху = |0 


—а 


Следовательно, величины Х и У=Х?* не коррелированы, несмотря 
на то что они связаны самой жесткой зависимостью — функциональной. 


2.4. Моменты первого и второго порядков. Матема- 
тическое ожидание, дисперсия и ковариация представ- 
ляют собой частные виды моментов случайных величин. 

Моментом первого порядка (первым моментом) слу- 
чайной величины называется ее математическое ожидание. 

Моментом второго порядка (вторым моментом) ска- 
лярной (в общем случае комплексной) случайной вели- 
чины Х называется математическое ожидание квадрата ее 
_ модуля: | 

= ДД | ©”. (25) 


Центральным моментом второго порядка величины Х 
называется момент второго порядка пе Прированной вели- 
чины А’=А —т,, т.е. ее дисперсия. 

Моментом второго порядка величины Х относительно 
точки а называется момент второго порядка разности 
Х —а: | | 

ух (а) =М|Х—аЁ. Г. (26) 


Очевидно, что 7,=\, (0), р = 

С мешанным моментом второго порядка скалярных 
случайных величин Х и У называется математическое 
ожидание произведения первой величины и сопряженной 
второй:` 


„= МХ. о 7 


Центральным смешанным моментом второго порядка 
величин Х и У называется смешанный второй момент 
центрированных случайных величин Х° и У’, т. е. кова- 
риация величин Х и У. 

Смешанным моментом второго порядка величин Х и 
У относительно точек а и В называется смешанный вто- 
рой момент разностей Х—аи У: 


ухи (а, в) =М (Х—а) (У—5). (28) 
Ясно, что ху — Тху (0, 0), ху — Уху (т.», ту). 
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№ Подставив в (25) и (27) Х=т,-- Х°, У=т,-- Уи 
пользуясь свойствами (7) и (9) математических ожида- 
ний, получим выражения моментов второго порядка через 
математические ожидания и центральные моменты вто- 
рого порядка: 


«= От, |, (29) 
ху = ху + ТТ, (30) 

Аналогично из (26) и (28) получаем. | 
хх (24) =ВЭ„--|т,—а р, (31) 


Фи (а, 5) =„,- (т, — а) (т,—5). ч (32) 
Таким образом, все моменты второго порядка выра- 
жаются через математические ожидания случайных вели- 
чин и их центральные моменты второго порядка. 
Формула (31) показывает, что дисперсия случайной 
величины представляет собой наименьший из всех ее мо- 
ментов второго порядка. 


%. 


$3. Моменты второго порядка случайных векторов 


3.1. Момент второго порядка, ковариационная матри- 
ца, корреляционная матрица. Моментом второго порядка 
(вторым моментом) случайного ‘вектора Х называется 
матрида вторых моментов всех его координат: 


У 712 .:: Уп 


| |, тд МХ,Х. = (33) 


Уи1 Ун2 :.- пн 


Момент второго порядка центрированного случайного 
вектора Х‘* =Х —т, называется ковариационной матри- 
цей случайного вектора АХ: 

К11 №12 +88 Ки В 
Ко1 Ко +... Юон оу - 
И ‚ Прл= МАХрХо. (34) 


Кит Киз +. Кип 


Нредставив вектор Х в форме матрицы-столбца, можем 
переписать определения второго момента и ковариацион- 
ной матрицы случайного вектора Х в виде 


Г.=МХХ*, К;=МХоХы, _ (35) 
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где звездочка означает операцию транспонирования 
матрицы с заменой всех ее комплексных элементов соот- 
ветствующими сопряженными числами. 

Матрица, элементами которой служат коэффициенты 


корреляции координат Ху, ..., Х„ случайного вектора Х, 
называется его корреляционной матрицей: 
| Г12 5:8 Г1п р 
га 1 а ра 
К; = ея _ ы ау | : ео 
, рр 99 


Гир Гиз зв | 
в Подставив в первую формулу (35) Х=т,-- Хи 
пользуясь свойствами (7) и (9) математических ожи- 
даний, получаем соотношение между моментом второго 
порядка, ковариационной матрицей и математическим 
ожиданием И вектора: 


Г=Кх-- тут. 4 (37). 

3.2. Взаимный момент второго порядка. `и взаимная 
ковариационная матрица. Обобщая определение (35), 
назовем взаимным моментом второго порядка (вторым 


моментом) двух случайных векторов. Х и У матрицу 
(в общем случае прямоугольную) 


Г, = МХУ*. | (38) 


Взаимной О О матрицей или ковариацией 
случайных векторов Х и У назовем взаимный момент 
второго порядка соответствующих центрированных слу- 
чайных векторов А’=Ар—т, и У"=Ур—т 
= М Х‘Уу“*. 

Взаимные момент второго порядка, ковариационная 
матрица и математические ожидания векторов Х и У 
связаны соотношением, аналогичным т 


| ыы ту.ту (39). 


Случайные векторы Х и У называются коррелиро- 
ванными, если К,„,520, и некоррелированными, если 
К,,=0. Из этого определения следует, что векторы Х 
и У не коррелированы тогда и только тогда, когда каж- 
дая координата одного из них не коррелирована со всеми 
координатами другого. 

3.3. Операторы моментов второго порядка. Как из- 
вестно, любая матрица определяет линейный оператор, 
отображающий одно пространство в другое (или в то же 
самое). 
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Линейный оператор Г,, определяемый матрицей Г,, 
называется оператором момента второго порядка слу- 
чайного вектора Х. 

Ковариационным оператором случайного вектора Х. 
_ называется оператор момента второго порядка соответ- 
ствующего центрированного случайного вектора д.р. 
оператор А,‚, определяемый ковариационной матрицей 
К. вектора Х. 

Аналогично определяются взаимный оператор момента 
второго порядка и взаимный ковариационный оператор 
двух случайных векторов Х и У. 

В частном случае ковариационный оператор К, ска- 
лярной случайной величины Х представляет собой опе- 
ратор умножения на дисперсию ДР, этой случайной вели- 
ЧИНЫ. | 
_ (3.4. Свойства моментов второго порядка. 1). Из (33) — 
(35) следует, что моменты второго порядка случайных 
векторов обладают эрмитовской симметрией (являются 
эрмитовыми): | 


Г; = МХ**Х* = МХХ*=Г,, 1, (40) 


р —— Ура. 


2) Из (35) следует, что матрицы Г и К, неотрица- 
тельно определенны. 

\ Действительно, для любого вектора (матрицы-стол- 
бца) и имеем 


иТГи = М (итХ) (Х*и) = М (ХТ) (ХТ) = МХТИ 20, 

| (41) 
причем знак равенства возможен тогда и только тогда, 
когда ХТи=0 с вероятностью 1, т. е. когда координаты 


случайного вектора Х связаны линейной функциональ- 
ной зависимостью. Действительно, ` 


М! Хти в = | [хти 2 х)ах= \ [хТи |? [(х)ах > 0, 
ее [хи |[> 0 

если | т 
Р((Хти|>0= \ [4х >0, 


[хТи |[> 0 


где неравенство под знаком интеграла указывает, что 
областью интегрирования служит часть пространства, 
в которой выполнено это неравенство. 
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Таким образом, момент второго порядка случайного 
вектора представляет собой эрмитову неотрицательно 
‚определенную матрицу. В $ 4 мы увидим, что всякая 
матрица, обладающая этими двумя свойствами, . может 
служить ковариационной матрицей, а следовательно, и 
моментом второго порядка некоторого случайного век- 
тора. 

3) Легко убедиться также в том, что при изменении 
порядка случайных векторов их взаимные второй момент 
и ковариациочнная матрица переходят в эрмитовски со- 
пряженные. матрицы: 

Гу» = Гл, Ку» == Ку. (42) 


у 


4) Из неотрицательной определенности матрицы Г‚.(К’,) 
следует, что ее определитель действителен, неотрицате- 
лен и равен нулю тогда и только тогда, когда коорди- 
наты случайного вектора Х (соответственно Х*=Х—т,) 
связаны. линейными функциональными зависимостями. 

Действительно, определитель эрмитовой матрицы .ра-. 
вен произведению ее собственных значений, а собствен: 
ные значения неотрицательно определенной эрмитовой 
матрицы все неотрицательны. Отсюда следует, что опре- 
делитель матрицы Г,(А^)„.) неотрицателен и равен нулю 
тогда и только тогда, когда она имеет нулевое собст- 
венное значение. _ | 

Если нуль является т-кратным собственным значе- 
нием матрицы Г,.(К,) (т.е. т из п ее собственных зна- 
чений равны нулю), то в пространстве значений векто- 
ра Х существуют т взаимно ортогональных векторов 
Ф., ..., Фи» ДЛя которых 


Г.ф=0  (р=|, .... т. 


Умножив это соотношение слева на ф, и учитывая {35}, 
получаем 


ФГ„фх = мех Х* = =М]фрХ | = 
Отсюда следует, что с вероятностью | 
фо =0 . (РЕ т). 


Таким образом, в случае т-кратного нулевого собствен- 
ного значения матрицы Г, координаты вектора Х свя- 
заны т независимыми линейными соотношениями.. В этом 
случае распределение вектора Х полностью сосредото- 
чено на (п—1т1)-мерном подпространстве,. образованном 
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п — т собственными векторами матрицы Г,, соответствую- 
щими. отличным от нуля собственным значениям (соот- 
ветственно на (п —71)-мерном подпространстве, образо- 
ванном П—т собственными векторами матрицы К,, 
сдвинутом на вектор т..). Иными словами, матрица Г, (К,) 
имеет ранг г тогда и только тогда, когда распределение 
случайного вектора Х полностью сосредоточено на !- 
мерном подпрострачстве (соответственно на г-мерном 
подпространстве, сдвинутом на вектор т..). 

5) Выразив на основании (36) элементы ковариацион- 
ной матрицы К, формулой ^, я! С: ый убеждаемся 
в том, что и "определитель" ‘корреляционной матрицы 
неотрицателен и равен нулю тогда и только тогда, 
когда случайные величины Х?, ..., Хр? связаны линейными 
функциональными зависимостями. При этом ранг корре- 
ляционной матрицы равен г тогда и только тогда, ко- 
.гда распределение вектора Х_ сосредоточено на г-мерном 
подпространстве, сдвинутом на вектор т. 

Таким образом, при любом п 


У11 У: .: 1 Р11 РЕ... Айн 
р В. Коль В 
ка 22 У2п в 0, 21 23. | 21 


>0, (43) 
Уп “па... Тин Кн Каас Вай 


и аналогичное неравенство справедливо для определи- 
теля корреляционной матрицы. 

6) При п=2 неравенства (43) и аналогичное нера- 
венство для корреляционной матрицы дают 


| \1› 1ЗИ ты >>, | 1 | ЗУ РН Ай, | Г 12 | <=1. (44) 


Последнее неравенство убеждает нас в том, что коэффи- 
циент корреляции случайных величин не может быть по 
модулю больше единицы, и его модуль’ равен единице то- 
гда и только тогда, когда центрированные случайные 
величины связаны линейной зависимостью. 

7) Положив Х;=АХ, Х,=У, перепишем первое Нора 
венство (44) в виде 


| МХМ ХМ Ур. о (45) 


Знак равенства здесь имеет место тогда и только тогда, 
когда случайные величины Х и У связаны линейной 
зависимостью с. Х --с,У =0. | 

8) Заметим, что все установленные. свойства матриц 
Г, и К, присущи матрицам Г. и К,„, определяемым фор- 


103 


мулами (35), и в том случае, когда Х представляет собой 
произвольную прямоугольную матрицу. В этом случае 
элементы матриц Г, и К, определяются формулами 


7ра= М р ХреАар ра = М х № ое 
Вводя векторы (матрицы-столбцы) 
Х р=[Х Он (р=1, оу п), 


можем представить. формулы, рее Уи 
в виде 


ра’ 
=МХТХ, = МХоТХо, 
Тогда, положив Х,=Х, Х,=У, перепишем первую фор- 
мулу (44) в виде | 
[МХТ М ХМУЕ, (46) 


где модули следует понимать как модули (евклидовы 
нормы) векторов: 


ХР= ХХ, ПУР= ХУ. (47) 


Знак равенства в (46) имеет место тогда и только тогда, 
когда случайные векторы Х и У связаны линейной за- 
висимостью с. Х -с.У =0. 

3.5. Линейные преобразования случайных векторов. 
Рассмотрим теперь случайный вектор У, полученный 
линейным преобразованием вектора ДА: 


У=АХ-а.. | | (48) 


Его математическое ожидание определяется формулой 
(13), которую мы перепишем в виде 


т, = Ат, 4. (49) 


Вычитая (49) из (48), получаем У* = АХ*. Пользуясь 
этим соотношением и определением (35), находим кова- 
риационную матрицу вектора У: 


К, = МУ‘у°* = МАХ*°Х**А*. 
Но в силу (11), (12) и (35) 
МАХ*®Х‘*А* = Ре - АК,А*. 
104 | 


Следовательно, 
К,=АК,А*. (50) 


Эта формула показывает, что при преобразовании 
случайного вектора Х линейным оператором с матри- 
цей А его ковариационная матрица умножается слева 
на матрицу А, а справа на эрмитовски сопряженную 
матрицу А*. 

В частном случае, когда У —скалярная случайная 
величина, 4 представляет собой матрицу-строку, А = 
=[а; ... а], и формула (50) определяет дисперсию слу- 
чайной величины У: 


йа, | р 
р, 9= 
В частном случае некоррелированных случайных вели- 
ЧИН м зыау: Та формула принимает вид 
—- х Р,[ар |, (52) 
где Р,=^,,— дисперсия ‘величины Х, Е ет. 


В частном случае при п=! отсюда следует, что при 
умножении случайной величины на число ее дисперсия 
умножается на квадрат модуля этого числа. 

` Аналогично выводится формула 


К „д те АК„,В* (53) | 


для взаимной ковариационной матрицы случайных век- 
торов 


й=АХ-+а, И=вВУ-Ь. (54) 
В частном случае при У=Х формула (53) принимает 

о ВИД 
К„=АК.В*. _ (55) 


Эта формула определяет взаимную ковариационную ма- 
трицу случайных векторов 2 и (0, полученных двумя 
разными линейными преобразованиями одного и ‘того 
же случайного вектора Х: 


7=АХ-+а, И=ВХ-Ь. (56) 


В частном случае скалярных величин Д и И матри- 
цы А и В представляют собой матрицы-строки, =: 
= [а ... а,|, В=[6, ...6,|, и формула (55) определяет 
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ковариацию случайных величин 2 и (И: 
= У В аб. | (57) 


В частном случае некоррелированных координат Хь, ... 
‚ Х, вектора Х эта формула принимает вид 


„= У ),а6 — (58) 
р к: 


где Др=^,(р=1, ..., П). 

Чтобы привести формулу (50) в случае некоррелиро- 
ванных величин Ху, ..., ХА, к удобному для приложе- 
ний виду, будем рассматривать р-й столбец матрицы А 
как матрицу-столбец а: 


О: Ч бан: 9 Пат), 


Тогда формула (48), определяющая вектор У, перепи- 
шется в виде 


у = р А а (59) 


Формула (50), определяющая ковариационную матрицу 
вектора У, в м. того, что пи —0 при 9==р, примет 
ВИД 


-> Руара, (60) 
где ОЭ; =, — дисперсия величины Х „, Т.е. р-й элемент 
диагональной матрицы А, (р=1, ..., п). 


Формула (60), конечно, может быть выведена непо- 
средственно из (59) с. ‘учетом свойств (7), (10), (1Г) и (12) 
математических ожиданий. | 

К аналогичной форме приводится в случае вектора Х 
с некоррелированными координатами и формула (55). 

Заметим, что в случае линейных преобразований без. 
сдвига (48), (54), (56), когда а =6, =0, соотношения (50), 
(53), (55) справедливы также и для вторых моментов Г. 
Следует, однако, помнить, что если а,, 9,50, то фор- 
мулы (50), (53), и (55) справедливы только для ковариа- 
ционных матриц К. 


Пример 11: Найти математическое ожидание и дисперсию 


частоты Р` события А при п независимых опытах, если вероятность А 
в каждом опыте равна р. 
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_ Пусть Х»-число появлений события А при одном А-м опыте. 
Эта величина имеет два возможных значения 0. и 1, вероятности 
которых равны соответственно д=1— ри р. Поэтому ее матема- 
тическое ожидание ть и дисперсия Рь определяются по формулам 
(2) и (18): 


ть=0-9-1-Р=р, 
„Ра (0—р)*-9-- (р-р р" 9-Е 9". р=р9- 
Таким образом, ‚все величины Х\1, ..., Хн имеют одинаковые мате- 


матические ожидания и дисперсии, равные соответственно р и р. 
Частота события при п опытах определяется формулой 


п 
Г _2== Уххь 
. ВЕ! 


так как число его появлений при п опытах равно сумме чисел его 
появлений в отдельных опытах, т. е. Х1--...-- Хи. Таким образом, 


частота Р представляет собой линейную функцию случайных вели- 
чин Ау, +.., Ан. Поэтому для нахождения ее математического 
‘ожидания можно применить 1” (49): 


МР 


МР—1 1х МХь=- (пр) =р. 


Для вычисления дисперсии частоты Р заметим, что на основании 
теоремы, которая будет доказана в п. 4.2.4, из независимости 
опытов вытекает некоррелированность случайных величин Ху, ...,Хи. 
Поэтому для вычисления т можно применить формулу (52): 


рт ну РХь=-5 при. 
Е= 


Этст же результат получится, если воспользоваться результа- 
тами вычислений. математического ожидания и дисперсии числа Х 
появлений события А при п опытах в примере | и заметить, что 


в силу того, что Р=Х/п, 
 МР=-мх, БР=Е Хх. 
п п. 


Наконец, заметив, что Х=Х:-..,--Х„, можно значительно 
проще получить результаты примера 1 по формулам для математи- 
ческого ожидания’ и дисперсии суммы некоррелированных случай- 
ных величин. 

`Пример 12. Найти математическое ожидание и дисперсию 


‚среднего арифметического значения Х действительных случайных 
величин Ху, ..., Хи. 
``’ По формулам (49) и (51) находим 


п 
о =_ 1 
мх=-= УМХ» БХ=- у А 
`р=1. р, 9=1 
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где Ара = МХр д В частном случае некоррелированных величин 
сх т последняя формула м ВИД 


3 
ОХ = г» 
где Рр=А,р р, анны В). о в случае, когда величины 
АС че Х.. не коррелированы и имеют одинаковые математические 


ожидания и дисперсии, равные соответственно т». и Ру, полученные 
формулы дают 


МХ == 


= | -* 
= 
з 
> 
| 
3 
г 
ВИ ®. 
>< 
| 
| 
© 
Я 
| 


Пример 13. Найти математическое ожидание и ковариацион= 
ную матрицу случайного вектора 2, координаты которого 21, ..., 2и 
представляют собой числа появлений значений хи, ..., Ху дискрет- 


ной случайной величины Х при п независимых опытах, если в каж- 
дом опыте Р (Х =х у) == р. (У=1, вв.» /,). 


Пусть 20 —случайный вектор, координатами которого служат 
числа появлений значений х1, ‹.., Ху, в одном 1-м опыте. Очевидно, 


что возможными значениями вектора 24 служат единичные векто- 
ры /Л-мерного пространства 


е: = {1, 0, 8359 0}, ез == {0, 1, ве. 0}, езёу ел, == {0, з.ёу 1}, 


так как в одном опыте появляется только одно из значений 1, +. з, Ху, 
Вероятности этих значений равны р., ..., Ру. Следовательно, ма- 
тематическое ожидание вектора 2“) равно 


№ 
М2 = >) ее.) Ру, = {1»^ ++, Рм} ==Р. 
= | 


Таким образом, математическое ожидание вектора 2‘) представляет 
собой вектор р, координатами которого служат вероятности ри, ... 
..., Ру значений х:, ..., Ху случайной величины Х. Для опреде- 


ления ковариационной матрицы вектора 2“) найдем сначала его 
момент второго порядка Г”. Заметив, что у-я координата вектора 24 
равна 1 с вероятностью р, и 0 с вероятностью 1—Р.». находим 


диагональные элементы матрицы Г’: 
ЕН 2. а А 
То, = 1 .р,--0?.(1— р.) = Р.,. 


Так как никакие две координаты вектора 20 не могут быть одно- 
временно отличными от 0, то их произведение равно 0 с вероятно- 
стью 1. Поэтому ти =0 при ВУ. Определив моменты второго 


порядка координат вектора 2%, можно найти их дисперсии и кова- 
риации по формулам (29) и (30): 

Я и 2 

„=, Р..—=Р., (1 р), 


Кр =- РР, ВРУ. 
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Таким образом, ковариационная матрица К вектора 2‘) определяется 
формулой 

К=А—рр', 
где Л —диагональная матрица с элементами ру, ›.., Ру, ар— век- 
тор-столбец с теми же элементами. 


Заметив теперь, что й=24)-|-,..-Р- 2"), находим математическое 
ожидание и ковариационную матрицу вектора 2: 


Т 
т,‚=пр,  К.=п (Афр). 


$ 4. Канонические разложения случайных векторов 


4.1. Разложение по собственным векторам. Во многих 

задачах практики удобно оперировать случайными век- 
торами с некоррелированными координатами. В связи 
с этим возникает задача приведения любого случайного 
вектора к вектору с некоррелированными координатами 
(декорреляции координат случайного вектора). Эта задача 
равноценна задаче приведения вова иавиОнно: матрицы 
К диагональной форме. 
_ № Из линейной алгебры известно, что любая эрмитов- 
ская (симметричная) матрица может быть приведена 
к диагональной форме унитарным. (ортогональным) пре- 
образованием. Пусть А;, ..., Л„—собственные значения 
матрицы К, (неотрицательные в силу неотрицательной 
определенности К’;), ф1, ..., ф,„— соответствующие орто- 
нормированные собственные векторы. Тогда будут спра- 
ведливы соотношения 


а (61) 
(Ф», фа) = 06 = бр (р, 9=1, ..., п) *). (62) 


Пусть Ф —квадратная матрица, столбцами которой Е 
жат собственные векторы: 


Ф= [Ф:...Ф»]. в. © _ (63) 
Покажем, что случайный вектор 
И=Ф*Х° | (64) 


имеет некоррелированные координаты. Для этого найдем 
по формуле (50) его ковариационную матрицу: 
| —Ф* —Ф* —Ф* 
К, =Ф К.Ф =Ф К, [фт. . .Ф„|=Ф [К „Фу. ы ЭАаФа р 
*) В первой части формулы скалярное произведение записано 
в обычной форме, а во второй— в матричной, когда векторы пред- 


ставлены в форме НО брр=1, Ор=0 при р79 
‚ (символ Кронекера). | 
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или, в силу (61), 


| | а ых Ч. ‚А ФЕ Фа 
Аа 2 : [^.Фг. . 7 Фь | ее И: 
. х оф т ФиФи 


фл 
Отсюда, принимая во внимание (62), получаем 
10... 0 
кам 
бед 


Таким образом, ковариационная матрица случайного 
вектора И диагональна. Следовательно, его координаты 
не коррелированы и их дисперсии равны соответствую- 
щим собственным значениям ковариационной матрицы 
К, РИ р=А,(р=1, ‹.., П). | 

Из (64) вытекает следующая формула для координат 
вектора ПИ: 


= 9'Х‘ = (Х°, Ф,)) (р=Ь.... п). = (65) 


Эта формула показывает, что координаты вектора И 
представляют собой проекции случайного вектора Х® 
на собственные векторы. | 

Наконец, представив вектор Х‘ = Х —т, разложением 
по базису {ф:, ..., Фи, получаем 


Х = т, са 2 (Х*, Ф») фр= т, -Н р О „Фр. | (65) 


Эта формула дает разложение случайного вектора Х по 
собственным векторам его ковариационной матрицы. 
Сравнив (66) с (59) и применив формулу (60), получим 
разложение ковариационной матрицы случайного вектора 
Х по собственным не > 


=>» рф›ф. 9 | (67) 


Случайные величины УР ..., О„ф‚ в разложении 
(66) ‘по собственным векторам называются главными ком- 
понентами случайного вектора Х. Это название объ- 
ясняется тем, что среди. проекций вектора Х на все 
возможные направления максимальную дисперсию, рав- 
ную наибольшему собственному значению Л, имеет про- 
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екция на собственный. вектор ф: и при любом ‹ $ среди 
проекций вектора Х°’— И ф,—... —И,-1Ф;_1 на все воз- 
можные направления максимальной дисперсией, равной 
$-му но величине собственному значению /,, обладает 
проекция на собственный вектор ф, (экстремальное свой- 
ство собственных значений) [96, т. 3, ч. 1]: 


№, = зир ф*К „Ф, 
|Ф [=1 


$—1 
А; = Ир ф* (к, ра луч) ф. 
[Ф]=1 р=1 

4.2. Вычисление собственных‘ значений и собственных 
векторов. Для получения разложения случайного вектора 
по собственным векторам необходимо найти собственные 
значения и собственные векторы его ковариационной 
матрицы. Эта задача сводится к решению алгебраиче- 
ского уравнения п-й степени 


|К,—№|=0*) 


и соответствующих систем однородных линейных урав- 
нений (61), что связано со значительными вычислитель- 
ными. трудностями. Поэтому для вычисления собственных 
значений и собственных векторов обычно применяют 
приближенные вычислительные методы линейной алгебры 
[107]. Одним из наиболее удобных для вычисления на 
ЭВМ является метод последовательных поворотов осей 
координат, приводящих наибольшие по модулю внедиа- 
ные элементы ковариационной матрицы к нулю 


Пусть ра» В < 9, — наибольший по модулю элемент ковариа- 
ционной матрицы К, действительного случайного вектора Х = 


= [Х\ ‚:. Лп| . Повернем оси координат в плоскости, образован- 
ной единичными векторами (ортами) е› и гу, так, чтобы новые 


единичные векторы ер и ео были направлены по осям проекции 
Т 
эллипсоида и Кхи=соп$ на эту плоскость, т. е. чтобы проек- 


ций Хри Ха вектора Х наер ие были некоррелированными. Обо- 
значив угол поворота 09, будем иметь 


Хр=Х, со$ 9 — Ха $1п 0, Хи= Хр эт 0-|- Хо соз 0. 


*) Через / мы обозначаем единичную матрицу. 
**) В [94] для вычисления собственных значений и собственных 
векторов этим методом служит программа Е1ОЕМ. 
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При этом элементы Ёра, № рр, ад» Кргь Каг (Г 77 р, 9) преобразуются 
- По формулам | 


= ра С03 28-- =. (рр— аа) эт 20, 
м | ' 1 | | Е 


, 1 | 
Рад = 5 (Е рр--Каа) т (Арр— аа) и 20 ра эп 20, 
рг = рр С03 9 — №1, 51 0, 


, я (т 7 р, 9), | 
Ка’ = № рр т 0-- Ро, с0$ 6, 


а остальные элементы остаются неизменными. Единичными векто- 


рами ер и е4 новой системы координат, полученной в результате 
поворота, служат векторы 


ер =ер с0$ 9 —е1 т 9, ед =ер т 0--е. соз 6, 
Определив @ из условия ра =0, получим 


2А ра 


19 20 = — ———-. 
Арр—^а4 


При этом сумма квадратов внедиагональных элементов матрицы К» 


п 5-1 
= У 


$=2г=1 | ` 


уменьшится на величину Ара, так как Арг-| Каг==Арг-- Раг при лю- 
бом г 2р,4. Отсюда следует, что при повтоэении подобных пово- 
ротов, аннулирующих каждый раз наибольший по модулю внедиа- 
гональный элемент матрицы К», сумма квадратов внедиагональных 
элементов убывает и имеет пределом 0. Это доказывает, что матри- 
ца Кох в результате неограниченной последовательности таких пово- 
ротов приводится к диагональной форме, а матрица, столбцами 
которой служат каждый раз орты новой системы координат, стре- 
°мится к матрице Ф, столбцы которой представляют собой собствен- 
ные векторы матрицы К». | 

Таким образом, метод последовательных поворотов дает воз- 
можность определить собственные значения и собственные векторы 
с любой степенью точности. 

Пример 14. Разложить по собственным векторам. случайный 
вектор Х с математическим ожиданием т, =0 и ковариационной 
матрицей а 

1,94 1,80 1,58 1,11 0,61 
1,80 1,90`1,63 0,87 0,48 
К,=| 1,58 1,63 1,74 0,94 0,59 |. 
1,11 0,87 0,94 1,30 0,36 
0,61 0,48 0,59 0,36 1,10 
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Применив метод последовательных поворотов, по. стандартной 
подпрограмме Е1СЕМ на ЭВМ, приводим матрицу К, к виду *) 
6,05004 0,012914 — 0,0191523 0,08246 0,08294 - 
0,012914 — 0,900250 —0,08422 —0,012910 —0,0151331 
Кх=| 0,0191523 —0,06422 0,713409 —0,019575 —0,09345 . 
0,08246 —0,012910 —0,010575 0,260251 0,013568 
д_0,08294 0,0191331-—0,0°345 0,013568 (— 0,0560337-1 


При этом получена следующая матрица единичных векторов преобра» 
зованной системы координат: 
0,550070 —0,0903568 —0,0148574 —0,556621 —0,615800 1 
0,532374 —0,247680 —0,360632 —0,195935 —0,697700 
Ф=| 0,505474 —0,0373498 —0,174132 — 0,802011 —0,263734 
0,341577 0,00976712 0,909557 0,0580490 — 0,229269 
Ц0,204499 0,963846 —0,110029 —0,0720412 — 0,109015 


Таким образом, собственные значения ‘`ковариационной матрицы К, 
можно считать равными диагональным элементам матрицы К». Огра- 
ничиваясь четырьмя знаками после запятой, получим А, =6,0500, 
^› = 0,9002, А. =0,7134, А. =0,2603, ^5= 0,0560, а за собственные век- 
торы можно принять соответствующие столбцы матрицы Ф. Ограничи- 
ваясь при определении координат собственных векторов также че- 
тырьмя знаками после запятой, получим разложение случайного 
вектора Х по собственным векторам в виде | 
Х =0,[ 0,5501 0,5324 0,5055 0,3416 0,2045] Т-- 

-- О, [-—0,0904 —0,2477 —0,0373 0,0098 0,9638] -+- 

-- Оз[—0,0149 —0,3606 —0,1741 0,9096 —0,1100]7-=- 

-- О. [—0,5566 —0,1959 0,8020 0,0580 —0,0720]7 -- 

-- О, [—0,6158 0,6977 —0,2637 0,2293 0,1090]7. 
Контрольное вычисление матрицы К»; по формуле (67) дает расхож- 
дение с исходной матрицей Кх, не превышающее двух единиц чет- 
вертого знака после запятой. Относительные ошибки при этом не 
превосходят 0,04%. Это дает основание считать, что собственные 
значения и собственные векторы матрицы К, найдены с достаточной 
степенью точности. 


4.3. Каноническое разложение. Мы видим, что опре- 
деление собственных значений и собственных векторов 
всегда связано с громоздкими вычислениями. Между тем. 
ковариационная матрица может быть приведена к диа- 
гональной форме бесчисленным множеством других спо- 
собов, если отказаться от требования унитарности пре- 
образования. 

№» Пусть |1, ..., |, —произвольные линейно независи- 
_ мые векторы. Определим случайные величины У, = |» Х° 


*) Показатель степени у нуля показывает число нулей перед 
т значащей цифрой. Например, 0,08294 =0,000000294. 
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(р=1, ..., п). На основании (50) и (55) дисперсии и. 


ковариации величин \"!, ..., И, определяются: формулой 
а = > 
| МУ „У = 1 рК[а не п). 
Отсюда видно, что величины (|, ..., И, не коррелиро- 
ваны тогда, и только тогда, когда 0 при 95-р. 
Чтобы определить векторы |, ..., [„, удовлетворяю- 
щие условию [К,|, =0, 9=2р, возьмем произвольные 
линейно независимые векторы 5., ..., @, и положим 


1=8ь ВОИН РАДЕ 
Тогда будем иметь {Гх, =Р: ТК}, =1. Положим теперь 
=. Сай 


и определим с, из условия НК, =0 или, что то же, 
Г х,=0. Так как 


ве: ОЙ 
ох, = важ сан х, = 8х, | Сьл, 
Г ==) ен АН. Ко) 
то условие р»х, =0 дает с. =— @в.х,. Определив таким 
образом вектор 
—_ Т 
| [5 = 8, — (5х) | 
дисперсию О,=НК,|, величины У, =НХ° и вектор 
х.=0.'К |, будем иметь 
т Тю т 
, Вх. =рУЬК,|,=1 
и в силу эрмитовой симметрии ковариационной матрицы 
у ТК $# Рю $ - 
п х, = РК; = ВР К; =0. 
Продолжая этот процесс, определим последовательно 
векторы 
ый р Г Т 
1 = 81, 5 =, — (8; Хх.) р, —. г: (В: ХЕ (68) 
случайные величины 


у, = Х°, (69) 
их дисперсии | _ 
| р,=В К. | | (70) 
и векторы 
В 
= р. Кх|5 те. (71) 


При этом векторы {, их, будут удовлетворять условиям 
а РА ры ит =_ 

ра Хр =0б,ц (т. е. 6 =0 при 952р и 6б„=1 при 
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д=р), в силу которых величины У, и, будут некор- 
релированными при 9=5=р 

На основании (68) т (69), (70) и (71) можно 
переписать в виде - г | 


$-—1 | 
У. = (х _2 ух, , Юр: = К, 


Хз = 5: КЕ. (72) 
где | 


8—1 


КРК, Ур, =” 599) 


— ковариационная матрица случайного вектора 


$ —1 


Х, = Х'— ХУ 
р 


Формулы (72) и (73) дают возможность последовательно 
отщеплять от вектора Х® некоррелированные слагае- 
мые У,х., каждое из которых не коррелировано с соот- 
ветствующим остатком Х;.; (и всеми последующими 
остатками), не вычисляя векторов [.. 

Если ранг матрицы К, равен размерности простран- 
ства п, то мы получим таким путем п векторов [1, ..., |, 
и ни одна из величин Б.,..., О, не будет равной 0. 
При этом формула (7Г) определит п векторов х,, ..., х,. 

Если ранг г матрицы К, меньше Ре ы про- 
странства п, то при некотором р<г--1 получится 


К/|›= КФ, =0, ОР,=0, и вектор`х, останется неопре- 
деленным. В таком. случае можно продолжить вычисле- 
ния по формулам (68) —(72); приняв х,=0. Поступая 
так, мы найдем в результате п векторов о неа: РЕ 
отличных от нуля векторов х,. Изменив в случае необ- 
ходимости нумерацию векторов [; и х., можем считать 
отличными от нуля векторы х., ..., х,. Тогда векторам 


1, .-., /; будут соответствовать т слу- 
‘чайные величины У, =НХ», ‚У. =) Х® с отличными 
от нуля, о В а гр. а дисперсии величин 
ИУ т= а А°, ..., И. =НЫХ° будут равны 0. Вследствие 
этого величины ИТ .... И» равны 0 с вероятностью 1] 
И координаты случайного т: Х° связаны й—г ли- 
‘нейными зависимостями /2,Х® = —=// Х°=0 в полном 


соответствии с результатом $ 3. 
115 


Рассмотрим теперь случайный вектор 


в 
У=Х' тт И 


Так как ИХ’ = й Ёх, а са 9 Бена 
ИИ, =0 почти ке чек при г<л, то 
„ПУ, ХУ а" 


НУ=НХ=У, =0 п.н. ($=7-41, ..., п). 


Таким образом, координаты вектора У связаны п линей- 
ными зависимостями. Вводя матрицу ГР, столбцами ко- 
торой служат векторы Г,, 


Е=[Н... ГВ 
можем написать эти зависимости в виде 
ВТУ ==, 
Очевидно, что векторы |[:, ..., |, Линейно независимы 


в силу линейной - независимости исходных векторов 
9, ..., @,. Поэтому определитель матрицы Ё не может 
быть равным 0. Следовательно, У =0 (почти наверное 
в случае, когда г <. п). Таким образом, 


Х=т,-- р Уи _ (74) 


Это равенство точное при г=п и выполняется с вероят- 
ностью | при г 1. 

Таким образом, `мы’ выразили случайный вектор Х 
через случайный вектор У с некоррелированными коор- 
динатами У., ..., И, (и, следовательно, с диагональной 
ковариационной матрицей). Сравнив (74) с (59) и при- 
менив формулу (60), ‘получаем соответствующее выражение 
для ковариационной матрицы случайного вектора Д: 


т — У Ох рхр. (75) 


Представление случайного вектора Х в виде линейной 
функции некоррелированных случайных величин (74) на- 
зывается его каноническим разложением. Соответствующее 
разложение (75) называется каноническим разложением 
ковариационной матрицы случайного вектора Х. Векто- 
ры х.,..., х,; называются координатными векторами ка- 
нонического разложения. 
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4.4. Различные формы канонического разложения. 
Из неоднозначности решения задачи приведения кова- 
риационной матрицы к диагональной форме (произволь-. 
ности выбора исходных линейно независимых векторов 
5.,..., 9,) следует, что для любого случайного вектора 
с конечным моментом второго порядка существует бес- 
численное множество канонических разложений. 

Разложение по собственным векторам является одним 
‘из канонических разложений. Оно получается, если за 
исходные векторы &,, ..., 8, взять сопряженные соб- 


ственные векторы $Ф,, ..., ф„. Тогда будем иметь в силу 
(61) и (62) | 


Фа Ур = ФА‘ =О,, Рр=А р, х=Ф, (Р=Ь ...,у п) 


и формулы (74) и (75) примут соответственно вид (66) 
и (67) (если гп, то А, .1==...=А, =0 и соответственно 
о п. Н.). 

Очевидно, что, вводя соответствующие множители. 
в выражения случайных величин У, и обратные множи- 
тели в выражения: векторов х, , МОЖНО сделать дисперсии 
величин У!, ..., И, равными * любым заданным числам, 
например сделать все их равными |, или добиться того, 
чтобы все векторы хи, ...,х, были единичными. 
В последнем случае сумма дисперсий величин И,, ..., И, 
будет равна сумме дисперсий координат Ху, ..., Х„ слу- 
чайного вектора Х, т.е. следу его ковариационной 
матрицы: | 


2 


= Хрх, - Увь-иК, 


р= А = 


АИ из (75) в этом случае следует, что 
п 
з 
ИК, = ь Кнь == х х р [Хрв [== 
й=1 Р 
= А, 
вы ра 8 ре |х рй |= р О. 
р=1 й=1 


В частности, для разложения: по овованным векторам 
всегда | . 


п п 
2 р 2 о. 


(это следует также из известного факта, что при орто- 
гональном преобразовании след’ матрицы не изменяется). 
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4.5. Простейший способ получения канонического 
разложения. Вычисления по формулам (68) —(72): будут 


проще, если принять за исходные векторы @&., ....,.6,. 
единичные векторы осей координат е,, ..., е,. В этом 
случае : 


ое ОО | р ‚Вы х1а= От т (9а=1,..., и 


и формулы (68) —(72) последовательно ‘дают 
$—1 


О, =, ‚2 В 
х.›=0 Е и бы х..=1, 

| = | 
в ы-У Реки, (р=з-1, ..., п), (76) 


5—1 | ь 


фр Хр — у. ое. (р= 1,...,. 5—2), 
9=р+1 
а — Я, Га], -›=0. 
а 


Если р, —=0, то в соответствии с общим методом полагаем 
Ем. 50 

Объем вычислений, необходимых для нахождения 
канонического разложения случайного вектора по фор- 
мулам (76), в десятки, а в некоторых случаях в сотни 
раз меньше объема вычислений, необходимых для на- 
хождения собственных значений и собственных векторов 
случайного вектора. При этом далеко не всегда приходит 
вычислять векторы [,. | 

Предоставляем Читателю самостоятельно показать, 
что формулы (76) можно. получить, приняв за случайную 
величину У, первую координату вектора Х*, У, =/Х}, а 
затем положив последовательно 


РО 


И определив Хз *.., Х,,з;-1 Из условия некоррелирован- 
ности величины И, СИУ,, -.., И, т. 
Пример 15. В условиях примера 14 вычисление по форму- 


лам (76) с точностью до четырех знаков после запятой дает канони- 
ческое разложение случайного вектора Х: 


Х=У, [1 0,9278 0,8144 0,5722 0,3144] Т-- 


-НИ, [0 1 0,7135 —0,6955 —0,3740] Т-- 
НИ [0 0 | 0,4464 0,4597] Т-+ 
НИ, [0 0 0 1 =0 2420] т-- у, 000011, 
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дисперсии случайных величин И зав И 
РБ. =1,9400, ШО.=0,2299, 0О.:=0,3362, ГШ.=0,4867, ШО, =0,7765, 
и векторы {[1, ..., [ь: 
нН=[1 000 орт, 
р =[-0,9278 10.0 0]Т, | 
—=[—0,1525 —0,7135 1. 0 О]Т, 
[4=[ 0,8991 1,0140 —0,4464 | И 
ь=[-—0,3737 0,9474 —0,5677 0,2420 1]Т. 
Проверка путем вычисления матрицы К» по формуле (75) дает мат- 


рицу, полностью совпадающую с ‘исходной матрицей К» примера 14 
с точностью до четырех знаков после запятой. 


> 


4.6. Геометрический смысл канонического разложения. 
Заметим теперь, что так как уравнение 


- ИТК ‚и = соп$4. 


в случае матрицы К, с действительными элементами 
представляет собой уравнение эллипсоида (эллипса при 
п=2) в силу неотрицательной определенности К,‚, то 
задача нахождения канонического разложения действи- 
тельного случайного вектора равносильна геометрической 
задаче нахождения сопряженных относительно эллипсоида 
направлений и приведения его уравнения к канонической 
форме (в общем случае ‘в косоугольных координатах). 
В частном случае, приняв за оси координат оси эллип- 
соида, получаем прямоугольную систему координат, 
в которой уравнение эллипсоида имеет каноническую 
форму. Этой системе координат соответствует разложение 
случайного вектора по собственным векторам. Из этой 
геометрической интерпретации ясно, почему разложение 
случайного вектора на некоррелированные слагаемые 
называется каноническим. | 

Эллипсоид с уравнением и Ку'и = 1 (в случае матрицы 
К. с действительными элементами) будем называть эллип- 
соидом рассеивания. 

4.7. Построение случайного вектора с данной кова- 
риационной матрицей. Докажем теперь утверждение & 3 
о том, что любая неотрицательно определенная эрмитова 
матрица К может быть ковариационной матрицей (а сле- 
довательно, и моментом второго ПО, ах 
вектора. | 

№» Пусть Л,,...,^, —собственные значения, ф.,...,ф,— 
соответствующие‘ собственные векторы матрицы К, 
О, ..., Ч, —произвольные некоррелированные случай- 
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> 


ные величины с нулевыми математическими ожиданиями 


и дисперсиями, равными соответственно ^., ..., А, *). 
Рассмотрим случайный вектор 
п 
Е 2 иго. 


Его ковариационная матрица определяется формулой (67). 


А так как ^„ф,=КФ, и, следовательно, А „фр = фрК, то 


п п. , 
К == 2 Арфрф = > вв; К. 


Но. 
п | 
ч м | 
У. фрФр == [Ф1 о...’ Фи| Й == ФФ? = [, 
р=1 | 
Фи 
так как в силу (62) 
т 
Ф те ‚Я $ | 
Ф*Ф = | [Ф; ... Ф„| = = нь Г, 
* та, .. и 
Фи 


и, следовательно, Ф* = Ф-*. Таким образом, К ; == К, что 
И две утверждение $ 3. $ 


$ 5. Другие числовые характеристики случайных величин 


5.1. Моменты высших порядков. Моменты первого и 
второго порядка во многих случаях оказываются недо- 
статочными. Поэтому для более полной характеристики 
случайных величин вводят моменты высших порядков. При 


*) Например, можно взять случайные величины И =, 


и ‚..., п) И определить совместную плотность не Иь, 
ао ба формулой 
” г 7 Р ” 
(ил, ить ..оу Ип, ии) = (ш, и) ..о Ы (ип, ип)» 

где /\, ..., [ин — произвольные и: плотности, удовлетворяю- 
щие условиям МИ,=0, РИр=^р (р=1, ..., п). В случае, когда 
матрица К имеет ранг г < М, А,+1=...=Аи=0 и случайные ве- 
личины И; +1, ..., О» с вероятностью |1 равны 0. В этом случае 


следует положить 
Ср (и, и") =6 (и’) 6 (и) (р=и--1,..., п). 
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этом обычно ограничиваются действительными величи- 
нами, что не приводит к потере общности. (см. замеча- 
ние в $ 2.1). 

Моментом порядка г (г-м моментом) скалярной слу- 
чайной величины Х называется математическое ожида- 
ние ее г-й степени: 


а, = МХ'. (77) 


Центральным моментом порядка г случайной вели- 
чины Х называется г-й момент соответствующей центри- 
рованной случайной величины Х*’=Х — т, 


= М (Х°=М (Х— т, | (78) 


Моментами порядка г случайного вектора Х называют- 


т 


В: Г 
ся математические ожидания произведений Х1', ..., Хи", 
соответствующих всем целым неотрицательным А,,...., А, 
дающим в сумме г: 


он, = МХ"... Хи, В... ЧЁ =г. (79) 


Центральными моментами порядка г случайного век- 
тора Х называются моменты порядка г соответствующего. 
центрированного случайного вектора Х®=Х —т,: 


аи. в, == МХ... (Х 8)", В... =. (80) 


Аналогично определяются моменты относительно лю- 

бой данной точки. Моменты © относительно начала коор- 
динат обычно называют начальными. 
_ Пользуясь формулой бинома Ньютона и свойствами 
математических ожиданий, можно выразить начальные 
моменты через центральные, и наоборот. В частности, 
для моментов скалярной случайной величины получаем 
соотношения 


‚= Х Ср т, - | (81) 
р= | 
и, = У (-1'-Р Сартр. (82) 


р=0 


Очевидно, что все моменты нулевого порядка равны [|. 
Момент первого порядка скалярной случайной величины Х 
по определению представляет собой ее математическое 
ожидание, &, =т,, а моменты первого порядка случай- 
ного вектора Х —математические ожидания его коорди- 
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нат. Все центральные моменты ' первого ‘порядка равны 
нулю. Центральный момент второго порядка скалярной 
случайной величины Х представляет собой ее дисперсию, 
а центральные моменты второго порядка случайного век- 
тора Х —элементы его ковариационной матрицы. 

Кроме моментов первого и второго порядков, на 
практике иногда пользуются моментами третьего и чет- 
вертого порядков. Моментами высших порядков ПОЛЬ- 
зуются редко. 

Центральный момент третьего порядка характеризует 
несимметричность распределения относительно матема- 
тического ожидания. Поэтому за характеристику несим- 
метричности распределения принимают безразмерную 
величину —отношение третьего центрального момента 
к кубу среднего квадратического отклонения: 


у = 8 Вы Из р (83). 
0 Бр а 


Эта величина называется асимметрией или скошенностью 
распределения случайной величины. 

Центральный момент четвертого порядка при данной 
дисперсии ‘может служить характеристикой удельного 
веса больших отклонений от математического ожидания, 
а это в свою очередь определяет характер максимума 
в точке 17. симметричного распределения — «островершин- 
ность» или «плосковершинность» кривой распределения. 
Поэтому за характеристику поведения кривой распреде- 
ления вблизи точки т,„ принимают безразмерную величину 


= 3, (84) 
Из | 


называемую оэксцессом распределения случайной вели- 
чины А. Смысл вычитания 3 из р. прояснится в $ 6. 


Пример 16. Для ›-распределения (пример 2.8) в силу (2.16) 


+1. “. 
и-тети | шек ГИ 
‚ РАНЕЕ, ГЩ 


В частном я случае для показательного распределения (и =0) И 
Пример 17. ов В-распределения (пример 2.9) 


НИ ы арии (р--9) Г (р- г) 


ТОГО, Г (РГ (рР--9- г) ` 
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Пример 18. В условиях примера 2.14. моменты времени $ 
работы системы после первого ремонта определяются формулой 


20 | 15 
| ‚== \ 5". [№е-^ 9-5) -- 76 (5) | &= о 45 = 
б 5“ 0 


ББ... Ь- о (1-е м). 


Пример 19. В условиях лримера 7.16 
21 | | | Е 


а, = \ иги а— 0-Е 1-1 и) и- 20)" ра. 


5 


5.2. Квантили. Моменты случайных величин удобны, 
когда все необходимые моменты (практически не выше 
четвертого порядка) существуют. Однако, как показывает 
пример 6, случайная величина может не иметь моментов. 
Поэтому для скалярных случайных величин иногда вво- 
дят другие числовые характеристики, связанные со зна- 
чениями` функции распределения. | 

За характеристику положения распределения на чис- 
ловой оси (среднее значение) принимают точку 6.1/2, в 
которой функция распределения переходит от значений, 
меньших 1/2, к значениям, большим 1/2: Р (8/2) < 11/2, 
Е (С, » РО) >1/2. Такая точка б./» называется медианой 
случайной величины. Медиана всегда существует и может 
‘даже быть неоднозначно определенной. Действительно, 
функция распределения изменяется монотонно от 0 до 1. 
Поэтому всегда найдется такая точка &,:/›, в которой 
она скачком или непрерывно переходит через значе- 
ние 1/2. Если же существует интервал (%, В), на котором 
Е (х)=1/2, то любая точка этого р может Е 
жить значением медианы. | 

Для характеристики разброса значений случайной 
величины пользуются точками, в которых функция рас- 
пределения переходит через другие значения. Точка 6, 
В которой функция распределения переходит от значе- 
ний, меньших р, к значениям, большим р, рЕ(0, 1), 
называется квантилью порядка р: Ё (5,) р, Е ((›0) > р. 
Все квантили существуют у любой действительной ска- 
лярной случайной величины, и некоторые из них могут 
быть определены неоднозначно. Это доказывается совер- 
шенно так же, как существование медианы. 
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`Наь всего пользуются, кроме медианы 5:/», кванти- 
ляЯмМи б/а И бз/а, которые называются квартилями. Вели- 
чина ЕЁ = (53/4 —б,/.)/2 при этом принимается за характе- 
ристику разброса значений случайной величины и 
называется срединным или вероятным отклонением или 
семиинтерквартильной широтой распределения случайной 
величины. Иногда пользуются квантилями бут, бу, ... 
...», бов КОТОрые называются децилями. 

Легко видеть, что с помощью квантилей можно ха- 
рактеризовать распределение с любой степенью точности, 
если взять их достаточно много. 

Недостаток квантилей состоит в том, что для них не 
существует простых. формул типа (52) для перехода от 
’случайных величин к линейным функциям этих случай- 
ных величин, В частности к их суммам. 


$ 6. Одномерное нормальное распределение 


6.1. Моменты. Изучим теперь нормальное распреде- 
ление на числовой оси (пример 2.6). Это распределение 
определяется плотностью 


нд У не * 9", е>0. (85) 


На рис. 15 показана нормальная кривая распределе- 
ния, изображающая эту плотность. Эта кривая, как видно 
у из (85), симметрична от- 
носительно. точки а, в 
которой плотность до- 
стигает максимума. Ко- 
эффициент при показа- 
тельной функции опре- 
делен из условия равен- 
ства единице интеграла 
от плотности, распро- 
страненного на всю чис- 
7: ловую ось. 

Рис. 15. Чтобы вывести вы- 
ражение для этого ко- 

эффициента, обозначим его А. Тогда получим 


[= 


1 е(х-а)1 
А \ е.* ах, 
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Заменой переменных х=а-- И 2/ интеграл в левой 
части приводится к известному интегралу Пуассона: 


А и- | На]. 


Отсюда, принимая во внимание, что ООаНИЬ 2) 


|) 


Кееа=уИ я, = (86) 


© 


находим А=У с/2л. 

Из симметрии нормальной кривой распределения от- 
носительно точки х=а непосредственно следует, что 
математическое ожидание случайной величины Х, рас- 
пределенной по нормальному закону, равно параметру а 
в выражении нормальной плотности, т,=а. К этому же 
результату приводит и формальное вычисление т, по 


формуле (3): 


1 
—=— с (х- а} 
2 


[* =) 
т, = = | хе ах == 
® - © 


|2) 


у еж И | [е-# а =а 


в силу формулы (86) и равенства нулю последнего ин- 
теграла как интеграла от нечетной функции в симмет- 
ричных относительно начала координат пределах. 

Таким образом, параметр а в выражении (85) одно- 
мерной нормальной плотности представляет собой мате- 
матическое ожидание. случайной величины. 

Центральные моменты нормально распределенной слу- 
чайной величины Х определяются согласно (78) и (6) 
формулой 


РЕ 1 
С —— с (х-а)* 
= У 5 | (х—а)’е ? Дх = 


| 


[) 


1 9 г 
—=——— (=) | Ре-? (Е. 
Ул С | 
— © , 
Отсюда видно, что все нечетные центральные моменты 


нормально распределенной случайной величины равны 
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нулю. Для центральных моментов четных порядков по- 
лучаем _ 


] 2 РГ РХ 
- Изр — Ул (=) | РРе-"а 


—© 


— (=)! еле" ай. (87) 
д С 

0 
Интегрируя по частям, имеем 


| | и Р( Е" 1. О \р И 
аут (2) Рети лу (р есче 
| 0 


Ее 2-1 (=) рее "Р— ее. 


"Ул. 
Таким образом, мы получили рекуррентную формулу 
2р—1 | 
р - р (88) 


Положив здесь р=| и имея в виду, что все моменты 
нулевого порядка равны 1, находим дисперсию нормально 
распределенной случайной величины ДА: 


Ви == 1/0; 


Таким образом, параметр с в выражении (85) нормаль- 
ной плотности представляет собой величину, ‘обратную 
дисперсии случайной величины, с=рОу =5". 

Для получения`общей формулы для четных централь- 
ных моментов перепишем (88) в виде 


р— (2р — 1) ИИ р-2. 


Положив здесь последовательно р=2,3, ..., Е и пере- 
множив полученные равенства почленно, получим после 
сокращений 


и. =1.3....: (8—1) ий = (28 — ПИ. = (89) 


Эта формула выражает все четные центральные моменты 
нормально распределенной случайной величины Х через 
ее дисперсию Р,.=и,. В частности, при Е =2 формула 
(89) определяет центральный момент четвертого порядка 
ци, =3и2. Подставив это выражение в (84), убеждаемся 
в том, что эксцесс нормального распределения раВе 
нулю. | 
Нормальное распределение широко распространено 
в природе. В большинстве задач практики распределение 
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случайной величины можно считать нормальным. Поэтому 
нормальное распределение обычно принимается за эталон 
для сравнения распределений. Асимметрия и эксцесс 
вводятся для того, чтобы характеризовать отклонение 
распределения от нормального. Поэтому их определяют 
так, чтобы для нормального распределения они были 
равны нулю. Этим и объясняется ввод слагаемого —3 
в определение (84) эксцесса. 

Учитывая, что а=т,, с=ШОх'==0х°, выражение (85) 
для одномерной нормальной плотности часто записывают 
в виде 


пы Вы. 
В. = и 0 ) (90) 


опуская для краткости индексы у математического ожи- 
дания т=т,, дисперсии Р=), и среднего квадрати- 
ческого отклонения б=04,. | | 

Формула (90) показывает, что нормальное распреде- 
ление полностью определяется моментами первого и вто- 
рого порядков. Зная математическое ожидание и дисперсию 
нормально распределенной случайной величины, можно 
найти ее плотность. 

6.2. Вероятность попадания в интервал. Выведем те- 
перь формулу для вероятности попадания нормально 
распределенной случайной величины Х в данный интер- 
вал (<, В). 

Подставив выражение (90) плотности в общую фор- 
мулу (2.10) для вероятности попадания в интервал, 
получим 


В х-т | 
Ре<х<=— [ег о у 


После замены переменных х =т- ог, г—=(х— т)/о будем 
иметь. 


В-т ` 
Е | 
Е ва = 
* 
от р 
[0] 
В-т и -— т 
| (6 [6] | 
1 
= ——— а НЕЕ | е-л 42. 
У 2 У 2л ь 


Неопределенный интеграл от функции е-?/? не выра- 
жается в элементарных функциях. Поэтому для вычис- 
ления интегралов в предыдущей формуле вводят новую 
функцию 


_Ф (и) = Е аа, (91) 


Уз |" 


Для этой функции, называемой функцией Лапласа, состав- 
лены таблицы (приложение 3, табл. 1)*). При помощи 
функции Лапласа предыдущая формула для вероятности 
попадания нормально распределенной случайной вели- 
чины в интервал (<, В) может быть представлена в виде 


Ре<х<в=Ф(Е="=)—Ф (%="=). (92 
| 9х 9х 
В этой формуле явно показано, что параметры ти сд 
‘представляют собой соответственно математическое ожни- 
дание т, и среднее квадратическое отклонение в, слу- 
чайной величины Х **). 
Докажем теперь, что функция Лапласа нечетная. 
Заменив в к. и на —и, будем иметь 


_4 


Ф(-— и РАН: в | е-2*/2 г. 
(— и) ИЕ 
0 

Сделав замену переменных 2= — $, получим 
1 Е 

"В НН феи =—Ф и 

а — (и), 

0 


что и доказывает нечетность функции Ф (и). Вследствие 
этого в таблицах даются ее значения только для поло- 
жительных значений и. 

6.3. Случай симметричного интервала. в. частном слу- 
чае, когда интервал (<, В) °симметричен относитель- 
но математического ожидания, “=т,—е, В=т,- в, 


*) В дальнейшем при ссылках на таблицы всегда имеются в виду 
таблицы, приведенные в приложении 3. 

*+) В разных руководствах функцию Лапласа определяют по- 
разному. Различные определения отличаются одно от другого мас- 
штабом аргумента, масштабом самой функции и пределами интеграла. 
- Соответственно изменяются и формулы для вероятности попадания. 
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формула (92) дает 
Р(т.—=<Х <т,-+ 8) = =Р(|ХЪ—т,|< в) == 
[2 8 
вы 


Отсюда, принимая во внимание нечетность функции Ф (и), 
получаем | 


Р(ХЬ—т,| <) =2 (=). (93) 


Пример 20. Полагая в формуле» (93) последовательно #=0х, 
20,, 30,, 40, и пользуясь таблицей функции Лапласа (приложе- 
ния 3, табл. 1), находим р 


Р(|Х—т,| < 0,)=24 (1) = 0,683 = 0,68, 
Р(|Х—т, |< 20.) =2Ф (2) = 0,954 = 0,55, 
Р(|[Х—т, | < 36,) =2 (3) = 0,997, 
Р(|Х—т,. | < 49.) =2Ф (4) = 0,999994. 


Таким образом, с вероятностью около 68% значения нормально рас- 
пределенной случайной величины отклоняются от ее математического 
ожидания не больше, чем на одно среднее квадратическое отклоне- 
ние, с вероятностью 95% — не больше чем на два средних квадра- 
тических отклонения и с вероятностью 99,7% — не больше чем на три 
средних квадратических отклонения. 

Мы видим, что нормально распределенная случайная величина 
лишь с вероятностью 0,3% может отклониться от своего математи- 
ческого ожидания больше чем на три средних квадратических откло- 
нения. Иными словами, в среднем лишь в трех опытах из тысячи, ее 
отклонение от математического ожидания будет больше 36. Поэтому 
обычно считают областью практически возможных значений нор- 
мально распределенной случайной величины интервал (т» — Зох, 


тх-Е 30х). 


Положив в (92) «= — ©, В=х и приняв во внима- 
ние, что Ф (со) =1/2, находим функцию распределения 


нормально распределенной случайной величины. ы 


Е =Ф (== "=) +1). (94) 


6.4. Квантили. Из симметрии нормального распреде- 
ления непосредственно следует, что медиана совпадает 


*) Для вычисления нормальной функции распределения и плот- 
ности в [94] служит программа МОТК. Пользуясь этой программой, 
можно вычислять на ЭВМ вероятности попадания. нормально рас- 
пределенных случайных величин в любые интервалы. 
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с математическим ожиданием, б:/. =т,=а, И что 612 — 
— 1/4 = 3/4 —б./2=Е,, где Е, -—срединное отклонение 
величины Х. Для определения срединного отклонения ЕЁ, 
достаточно положить в формуле (94) х=ё, „=т,- Е, 


‚и приравнять полученное выражение 3/4. Тогда получим 
) 1 


уравнение Ф р г Корень этого уравнения обычно 


обозначается ру? (р=0,4769...). Таким образом, 


Е -— 
== = ру 9, откуда находим срединное отклонение 
х 


. Е, =рУ 20, 2 0,6749... 


Глава 4 


ПРОЕКЦИИ СЛУЧАЙНЫХ ВЕКТОРОВ 
И ИХ РАСПРЕДЕЛЕНИЯ 


$ 1. Распределения проекций случайного вектора’ 


‚ 1.1. Проекции вектора. Любой вектор х=={х., ..., Хм} 
в М-мерном пространстве можно однозначно представить 
в виде | 

- 


=> х,е,, (1) 


где с;,..., е’—единичные векторы осей координат, 
е.={1,0,..., 0}, е›=40, 1,0,...,0},..., ем=10, .. ОЕ 


Выберем какие-нибудь п из М векторов е;, ..., ем, 
скажем е,, ..., ед, г, «г, <... г, п М. Подпрост- 
ранством, ‘образованным векторами е,,...,е,„, называется 
множество всех векторов х М№-мерного пространства, у 
которых отличны от нуля только координаты `х,,, ..., Хи, 
а остальные равны нулю. Два подпространства, одно из 
которых образовано каким-нибудь п из векторов е,,..., ем, 
а другое —всеми оставшимися, называются взаимно д0- 
полнительными. Например, подпространство, образован- 
ное векторами е,, ...,е,„, и подпространство, образованное 
векторами е„.1,..., ел, взаимно дополнительны. 

Проекцией вектора х на подпространство, образован-_ 
ное векторами е,,,...,е,,, называется вектор х’, полу- 
ченный из х заменой всех его координат, кроме 
Хи, ...) Ага, НУЛЯМИ: 


п 
’ 


В частности, проекцией вектора х на А-ю координатную 
ось —одномерное подпространство, образованное векто- 
ром е,, является вектор х,е,. Ввиду того, что проекция 
вектора х на А-ю координатную ось полностью опре- 
деляется одним числом х,, мы в дальнейшем не будем 
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делать различия между проекцией вектора на ось и 
соответствующей его координатой, разумеется, если это 
не может вызвать путаницу. — 

Пусть $1, ..., 5м-, —оставшиеся числа из множества 
{1,..., М} после выбора из него чисел г.,...,г,, рас- 
положенные в порядке возрастания, $, <... 5м_„. Век- 
тор х’, определяемый формулой (2), и вектор 


п = 


представляют собой проекции вектора х на два взаимно 
дополнительных подпространства. Сумма этих двух про- 
екций равна’ вектору х, х’-х”==х, так так сумма (3) 
содержит все слагаемые суммы (1), которые не входят 
в сумму (2), и не содержит ни одного слагаемого суммы (2). 

Если А —М№-мерный случайный вектор, то его про- 
екция на подпространство, образованное единичными 
векторами е,,,...,е,„, представляет собой п-мерный слу- 
чайный вектор, а его проекция на дополнительное под- 
пространство —(№ —п)-мерный случайный вектор. 

Так как изменением нумерации векторов е,, ..., ем 
(т.е. их порядка) всегда можно любые п из. них сде- 
лать п первыми, то в дальнейшем, рассматривая проек- 
цию //-мерного вектора на п-мерное подпространство, мы 
всегда будем считать, что это подпространство образо- 
вано единичными векторами е.,...,е,. Тогда дополни- 
тельное подпространство будет образовано единичными 
векторами е„.:,...,ех. При этом для простоты будем 
полагать №М=п-- т и обозначать (п-- т)-мерный вектор 
буквой 2, а его проекции на п-мерное и дополнительное 
т-мерное подпространства—соответственно буквами х и у. 
Иными словами, будем полагать 21=х., ..., 2. =Х,, 
он И о а ИИ бы 

1.2. Функция распределения проекции случайного век- 
тора. Предположим, что известна функция распределе- 
ния Р(х, и} двумерного случайного вектора 2 с коорди- 
натами (проекциями на оси координат) Х, У, и поставим 
задачу спределить распределения случайных величин Х 
и У, рассматриваемых по отдельности. . 

> В силу определения (2.29) и соглашения & 2.2 о запи- 
си неравенств между векторами 


Е(х, )=РЦХ <х} {У <}. (4) 
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Для нахождения функции распределения Р, (х) случай- 
ной величины Х достаточно заметить, что выполнение 
неравенства Х «< х равноценно совместному выполнению 
этого неравенства и достоверного неравенства У «о. 
Поэтому 


| Е, (= Р(Х<ЕРЦХ {У <=}. = (5) 
Из сравнения этой формулы с (4) видно, . что | 
Е, (х)=Р(х, оо). 4 (6) 


Совершенно так же определяется функция распреде- 
ления Р,(и) случайной величины У: 


Е, (у) = Е (о, 9). _ @) 


Таким образом, чтобы найти функцию распределения 
одной координаты двумерного случайного вектора, следует 
положить переменную, соответствующую другой коорди- 
нате, равной со. 

1.3. Плотность проекции случайного вектора. Найдем 
теперь плотность случайной величины ДА. 

№» Применив для вычисления вероятности в (5) фор- 
мулу (2.9) и изменив обозначение переменной интегриро- 
вания х на и, получим | 


Е, (= \ Чи \ Ки, )ау= ( м, а аи. 


_© _ © _© 


Сравнив эту формулу с (2.30), получаем следующую фор- 
мулу для плотности [; (х) случайной величины АД: 


[*-) 


(= \ 1, ау. (8) 


_© 


Совершенно так же получаем формулу для плотности }, (и) 
случайной величины У: 


Ь (у) = | Ё(х, ууах. (9) 


Таким образом, чтобы найти плотность одной коор- 
динаты двумерного случайного вектора, следует проинтег- 
рировать его плотность по переменной, соответствующей 
другой координате, 
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Формулы (6) —(9) справедливы и в том случае, когда 
Х и/’У представляют собой любые случайные векторы. 
Если Х представляет собой п-мерный случайный вектор 
с координатами Х,, ..., Х„, а У —т-мерный случайный 
вектор с координатами У’,, ..., У», то [(х, и) является. 
плотностью составного (п -- т)-мерного случайного вектора 
с координатами Х,, ..., Х», У,, ..., Ув т. е. совмест- 
ной плотностью п-т случайных величин Ху,...., Хи» 
У, ..., Уп; интеграл по переменной у в (8) следует 
понимать как т-кратный интеграл по координатам век-. 
‘тора у, а интеграл по переменной х в (9) —как п-крат- 
ный интеграл по координатам вектора х. 

Таким образом, формулы (6) —(9) определяют распре- 
деления проекций любого случайного вектора на взаимно 
дополнительные подпространства. 

№» Формула (8) дает возможность доказать сделанное 
в $ 3.1 утверждение, что математическое ожидание проек- 
ции (в частности, одной координаты) случайного вектора 
можно вычислить по формуле (3.3), рассматривая эту 
проекцию как '`функцию случайного вектора. Действи- 
тельно, рассматривая величину Х как функцию случай- 
ного вектора {Х, У}, по формуле (3.3) получаем 


[=] © |) 


т,= | } х/(% Уахау= ед } их 4, 


или в силу (8) 


© 


т.= \ х1: (Хх) ах: 


, 


То же получается по формуле (3.6). 


П ример 1. Плотность двумерного нормально распределенно- 
го случайного вектора определяется формулой (2. 22) примера 2.11 
при п=2: 


г. уы Увы: Я екр 


— са «99+ 


- 2с1о (х— а) (у В) со и— 5. (10) 
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Для определения плотности проекции этого случайного вектора на 
ось’х подставим выражение (10) в (8): 


И о (х-а)? р: 1 о 
во “ба та р -- усн 
—ю 


ое е-й ии 


1 


2 1 е 
2 к с о 
| И ес 12 „7 ба (х-а)? | а И а) 1 


бл У =. : 


Воспользовавшись для вычисления интеграла формулой (приложе- 
ние 2) 


-_- © 


|5) 1 1 
мЁ- — # > Е — 12 | 
\ е ? @=У9Эле? , (11) 
-_ © 
получаем 
= : Е 1 обе уз 
С11Соа — 612 тт тт——_——— Ца 


2752 


`Сравнив эту формулу с (3.90), видим, что проекция Х двумерного 
нормально распределенного случайного вектора {Х, У} на ось х рас- 
пределена нормально, причем ее математическое ожидание равно а, 
тх;=а, а дисперсия определяется формулой 


р * 
С11622 — 612 — 


Е ЗЕ (13) 


По симметрии заключаем, что проекция У вектора {Х, У} на ось у 
распределена нормально, причем ее математическое ожидание равно Ь, 
ту=ф, а дисперсия определяется формулой 


С11 | | 
С11С22 == С12 | 
Вычислим еще ковариацию величин Х и У. Полагая для крат- 
кости х—тх=х—фа=и, у_ту=ур—6б ==, по формуле (3.22) на- 
ходим | 


а. 208 [©] 1 
С11С2а— С1а и (Са? + 21204 С220?) 
— ие | аи 40 = 
21, . | 


Рху = 
—© -х 
асом А: 1 2 со С: 1 
, м —— си: ” -— ир-— 
Ус бо —С р. 11 — 
И о: Ур: Ан #е Усаз Е. 
2722 
_—<© —® 
Применив для вычисления интеграла по # формулу 
м ИЕ -- г" ЕЕ -- ий 
\ {е @= У 2л те » 
—® 
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которая легко выводится дифференцированием формулы (11) по па- 
раметру 1, получаем 


рва 1 С11С22 —С]о : 
с С11С22 — С12 Ея 
Ку=— —* 2112218 | 3, 2 Са аи. 
‚ С22 2лсо2 | 
_х® 


Последний интеграл вместе с квадратным корнем перед ним согласно 
(3.16) и (12) представляет собой дисперсию Д, величины Х, которая 
определяется формулсй (13). Следовательно, 


Сто ° 
Кху=— ие (15) 
С11С22 — С12 


Формулы (13)— (15) показывают, что ковариационная матрица дву- 
мерного нормально распределенного случайного вектора и матрица:С. 
коэффициентов квадратичной формы в выражении (10) плотности 
являются взаимно обратными матрицами. В $ 4 мы увидим, что это 
справедливо и для случайного вектора любой размерности. 

Пример 2. Предлагаем читателю самостоятельно найти плот- 
ность проекции п-мерного нормально распределенного случайного 
вектора на (п—1)-мерное подпространство». образованное какими-ни- 
будь п—1 осями координат. | 

Пример 3. Показать, что если двумерный вектор распреде- 
лен равномерно на прямоугольнике (пример 2.10), то его проекция 
распределена равномерно на соответствующей проекции этого прямо- 
угольника. Обобщить этот результат на равномерно распределенные 
‘векторы на параллелепипедах в любых конечномерных пространствах. 

Пр имер 4. Для случайного вектора, равномерно распределен- 
ного внутри эллипса (пример 2.10), формула (8) дает 


Хх? 
БУ :-= 


| @ га и 
|: (х) = Е в 1 (х) =0 при [х|>а 
—Ь 1- =. 


В данном случае, несмотря на равномерное распределение случай- 
ного вектора на плоскости, его координаты не распределены равно- 
мерно. Это и понятно: при каждом значении х вероятность попада- 
ния в бесконечно малый интервал длины Ах пропорциональна длине 
хорды эллипса, проходящей через точку х перпендикулярно оси х 
(рис. 16). Следовательно, и плотность величины Х пропорциональна 
длине этой хорды. Отсюда ясно, что кривая распределения вели- 
чины Х на интервале ей, а) представляет собой половину эллипса 
(рис. 17). 

-` Предлагаем читателю самостоятельно показать, что’ полученная 
формула определяет распределение проекции случайного вектора на 
ось Хх ив более сложном случае вектора, равномерно распределен- 
ного внутри эллипса, оси которого не совпадают с осями ноординат 
(пример 3.9). Найти для этого случая также распределение проекции’ 
вектора на ось у. 

| Пример 5. Рассмотрим случай, когда величина У является 
определенной функцией случайной величины Х, У=ф(Х). В этом 
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случае, как было показано в п. 9.3.4, совместная плотность случай- 
ных величин Х и У определяется формулой 


Р(х, у) =в (х) 6 (у—Ф(>)). 
Подставив это выражение в (8), находим плотность величины №} 


=) 


= \ 00—96) 4 =Е(9. 


Эта формула доказывает высказанное’ в п. 2.3.4 утверждение, что 
множитель 2 (х) представляет собой плотность случайной величины Х. 


0 х 
Рис. 16. | Рив, 41. 


И это верно как в случае скалярных, так и`в случае векторных 
величин Х иУ. | 
Точно так же по формуле (9) находим плотность величины Уз 


© 


Ви= | 960—994. 


_-© 


Для вычисления этого интеграла следует разбить область, где д (х) 22 0, 
на интервалы монотонности функции ф(х) и на каждом таком интер- 
вале сделать замену переменных Ц==ф (х), после чего останется вы- 
полнить интегрирование по '\, пользуясь определением интеграла от 
б-функции (формула (5). приложения 1). Мы выполним здесь это вы- 
числение для частного случая примера 3.10, когда ф (х) = х?, в (х) = 
== (1/2а)1(а—|х|). В этом случае 


0 `‘а 


= (а-я о | 80-8 0-юа |. 
=> @ —а 0 


Сделав замену переменных 1=х?, будем иметь в первом интеграле 
х = — Ут, а во втором х=-+ Ут. В результате получим 


в о а 1 
Ь 4) =-5- ) и—т) ЕТ (* —у) 
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Таким образом, обе координаты случайного вектора являются в дан- 
ном случае непрерывными случайными величинами, несмотря на то 
что его плотность содержит множителем д-функцию. Это иллюстри- 
рует сказанное в п. 2.3.4. 

Пример 6. В-елучае вырожденного распределения в п-мерном 
пространстве, подставив выражение (2.28) плотности в (8) с заменой 
х и и соответственно на х’и х”, найдем плотность случайного век- 
тора Х’ (проекции вектора Х на подпространство, образованное т 
первыми единичными векторами е1,..., ем): 


|=) 


В | во - Аи) = (и), 


_ © 


$ 2. Условные распределения проекций 
случайного вектора 


_ 2.1. Условная плотность проекции случайного вектора. 
В задачах практики, имея дело со случайными векто- 
рами, часто приходится определять распределение одних 
координат случайного вектора при известных значениях | 
других — так называемые условные распределения. С такой . 
задачей мы встречаемся, например, когда интересующая 
нас случайная величина Х непосредственно не наблю- 
даема, но может наблюдаться некоторая другая вели- 
чина У. Например, при любом измерении мы наблюдаем 
не саму измеряемую величину Х, а лишь результат изме- 
рения У, представляющий собой сумму измеряемой вели- 
чины и ошибки измерения. В таких ‘случаях, определив 
из опыта значение у величины У, приходится искать 
соответствующее условное распределение величины Х. 
Основная трудность при нахождении таких условных 
распределений состоит в том, что событие В вида У =, 
относительно которого приходится определять условные 
‚вероятности, имеет вероятность, равную нулю, в то время 
как определение (1.16) условной вероятности применимо 
только в случае, когда Р(В)==0. 

Рассмотрим сначала непрерывный двумерный случай- 
ный вектор с плотностью ] (х, и). В этом случае Р (У=и)=0. 
Поэтому формула (1.16) не определяет условные вероят- 
ности событий при условии У = у. В то же время интуи- 
тивно ясно, что условная плотность величины Х при 
данном у существует и пропорциональна плотности 
[(х, и) при данном фиксированном значении и (условная 
кривая распределения величины Х при данном и изобра- 
жается в некотором масштабе соответствующим сечением 
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поверхности распределения 2=[(х, и)). Из этих сообра- 
жений, принимая во внимание свойство (2.11) плотности 
и формулу (9), получаем следующее выражение условной 
плотности величины Х при данном значении увеличины У: 


Вий. | (16) 


Аналогично находим условную плотность величины У 
при данном значении х величины Х: 


Би =А%Р. (17) 


В Чтобы дать строгое определение условного распре- 
деления одной координаты случайного вектора при данном 
значении другой, найдем сначала условное распределе- 
ние величины Х относительно события и, < У < ц,, имею- 
щего отличную от нуля вероятность. По формуле (1.16) 
находим условную функцию распределения: 


Р({Х < х} {и < У <уи,}) 
т „, (х) =Р(Х «ху < У < у,) = Ри =<У<и.) . 


Применив для вычисления вероятностей формулы (2.9) 
и (2.10), получим 


Х Иа 
\ аи \ (и, 9) 49 
Ро О Фо, 2018 


Уз 


+04 


И1 


Положим теперь у =, уз= у-- Ау и определим услов- 
ное распределение случайной величины Х при данном зна- 
чении у величины У, имеющем нулевую вероятность, как ° 
предел условного распределения Х относительно события 
у<У < у--Ау при Ау-—+0. 

№ Чтобы осуществить предельный переход, перепи- 
шем формулу (18) в виде | 


Уз х 
\ 4 } уши 
а (х) = У1 == ея (19). 
\ 09 


у: 
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Если интеграл 
х 
\ (и, оуаи. 


при любом х и функция [, (9) —непрерывные функции 9 
в точке о=у, то они непрерывны также и в некоторой 
окрестности точки у. Поэтому, положив и = и, и, = у-- Ду, 
можно при достаточно малом Ау применить к интегра- 


лам в (19) теорему ‘о среднем значении. В результате 


будем иметь 
Хх 


лы, т) аш 
Ру од (= у, ", п Е(и, у-- Ау). 


Так как \, П’-+у при Ау-»0, то правая часть полу- 
ченного равенства стремится к определенному пределу 
при Ау—0, если [, (у)=Е0. Следовательно, в этом слу- 
чае существует и предел левой части, который по опре- 
делению представляет собой условную функцию распре- 
деления РЁ, (х|у) случайной величины Х при данном зна- 
чении у величины У. Таким образом, получаем 


х 


\ (и, у) аи 
п И РеаоО =и (20). 


Сравнив правую часть с выражением (2.30) функции рас- 
пределения через плотность, получаем формулу (16) для 
условной плотности [,(х|у) величины Х при У=у. < 

Таким образом, мы доказали, что при всех значениях у, 


‚ при которых |, (у). и интеграл в (20) при любом х являются 


непрерывными функциями у и |. (у)==0, условная плот- 
ность величины Х при’ данном значении у величины У 
определяется формулой (16). При р (у) =0 условное рас- 
пределение величины Х при У = у остается неопределен- 
ным (не существует). 

Отметим, что условия, при которых была выведена 
формула (20), могут выполняться и в том случае, когда 
[(х, у) содержит б-функции (примеры 5 и 6). 

№ Для определения условного распределения вели- 
чины А при значении у, величины У, имеющем отлич- 
ную от нуля вероятность р., заметим, что событие У = у, 
(попадание в прямую у=у,) может иметь отличную от 
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нуля вероятность только в том случае, когда }(х, и) 
о слагаемое 5, (х) 6 (у—и,). Положив в (19) у/=у,, 
=иу,-| Ау, будем иметь при любом Ду>0 


х 


| < (д аи--о (Ач 


Рух, учли (х) ==7 р. ГО (А 


В пределе при Ау—0 получаем для условной функции . 
распределения Р,(х|у,) и условной плотности |; (х| у.) 


формулы | 
] 
Риби) = | в, (и) аи, паькьь (21) 


Эти формулы справедливы и в том случае, когда д, (х) 
содержит линейную комбинацию 6б-функций. < 

Очевидно, что все наши рассуждения справедливы 
и в том случае, когда Х и У представляют собой слу- 
чайные векторы. Поэтому формулы (16) и (21) опреде- 
ляют условное распределение проекции случайного век- 
тора на любое подпространство при данном значении его 
проекции на дополнительное подпространство. 


Пример 7. В условиях примера 1, подставив в (16) выраже- 
ние (10) плотности ](х, у) и выражение, аналогичное (12), плотно- 
сти (и), находим условную плотность проекции двумерного нор- 
мально распределенного случайного вектора на ось х при данном 
значении его проекции на ось и: 


ый "|= о-в цу 5] 
С 
Ви =уУ 5-е " (22) 


Сравнив эту формулу с (3.90), видим, что условное распределение 
величины Х при данном значении у величины У нормально, причем 
математическое ожидание и дисперсия Х равны соответственно 
о С: 1 Ф* 
а (и—5) и —. 
Си 11 
По симметрии заключаем, что условное распределение величины У 
при данном значении х величины Х: нормально и при этом матема- 
тическое ожидание и дисперсия У равны соответственно 
[ | 
(ха и —. 
Со2. Со 
Пример 8. Используя резульзаты примера 2, найти условное 
распределение одной координаты ‘`п-мерного нормально распределен- 
ного случайного вектора при данных значениях всех остальных коор- 
динат (т. е. при данном значении проекции случайного вектора на 
(п— 1)-мерное подпространство, сбразованное остальными осями коор- 
динат), 
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Пример 95. В ны примера 4 


аа" 
Е ВИНЕ Е }1 


Таким образом, условное распределение величины Х в данном слу- 


чае равномерно в интервале | х| < аУ Г—у9?/6?, длина которого за- 
‚ висит от у. Мы видели в примере 4, что безусловное распределение 
величины Х в этом случае не являегся равномерным. 

Читатель легко самостоятельно убедится в том, что и в более 
сложном примере 3.9 условные распределения проекций случайного 
вектора равномерны на соотвегствующих интервалах. 


Пример 10. В условиях примера 5 очевидно, что условное 
распределение величины У при данном значении х величины Х опре- 


Дделяется плотностью = 
Ь (и| х) =60 (у—ф (х)). 


Действительно, при данном х величина У с вероятностью 1 прини- 
мает единственное возможное значение ф (х). То же самое дает на 
основании результата примера 5 и формула (17). В частности, она 
справедлива ‘в случае вырожденного распределения (2.28). 


2.2. Теорема умножения плотностей. Формулы (16) 
и (17) можно переписать в виде ' 


(и, у=Б Би =ЬФЬ о. (23) 


Эта формула выражает теорему умножения плотностей: 
совместная плотность двух случайных величин (скалярных 
или векторных) равна плотности одной из них, умножен- 
ной на условную плотность другой. 

№ Заметим, что формула (23) верна и в том случае, 
когда {, (х), или |, (и), или они обе содержат 6-функции. 
Действительно, если, например, 


М№ 
Г (у) =, (у) + > р.б (у—у.), 


то 
М 


(И (|9) = в (и) Р (419) + р р5[1 (х|9;) 6 (и—у.). 
(24) 


В сумме мы заменили р, (1), функцией }, (х|у.) ввиду 
того, что ф (и) 8 (у—и,) =$(4.) 8 и —и9.) для любой функ- 
ции Ф(у), поскольку 9 (у—иу,) =0 при всех у5=у,. Так 
как при всех и-2у., ..., ум суммы в обеих о 
формулах равны нулю и, следовательно, |. (у) =А, (у), то 
вследствие (16) правая часть формулы (24) равна Ё(х, и) 
при всех у--и, ..., Им. Сумма же в (24) на основании 
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(21) представляет собой как раз ту линейную комбинацию 
6-функций, которую следует ввести в функцию [(х, и), 
чтобы учесть отличные от нуля вероятности р:, ..., Рм 
значений и, ..., Ил случайной величины У. Таким обра- 
зом, правая часть формулы (24) совпадает с [| (х, у) при 
всех хиу. 4% 

2.3. Завчсимые и независимые случайные величины. 
Случайные величины Х и У называются независимыми, 
если события ХЕА и УЕВ независимы для любых мно- 
жеств А и В, для которых определены соответствующие 
вероятности. Случайные величины Х и У называются 
зависимыми, если существуют множества А и В, для кото- 
рых события ХЕА и УЕВ зависимы. Эти определения. 
относятся как к скалярным, так и к векторным случай- 
ным величинам. | 

Из этих определений и условий независимости собы- 
тий 6 1.6 следует, что случайные величины Х иУ неза- 
висимы тогда и только тогда, когда никакая информация 
об одной из них не изменяет распределение другой. 

№ Если случайные величины Х и У’ независимы, то со- 
гласно определению события Х «хи У < у независимы 
при любых х и у. Следовательно, в силу теоремы умно-. 
жения вероятностей независимых событий (1.21) 


Р(1Х<х} У <у)=Р(Х < УР(У<У,, 


ИЛИ | 
Е(х, у) = Р, (х) Е, (9). < (25) 


Таким образом, совместная функция распределения неза- 
висимых случайных величин равна произведению их функ- 
иий распределения. 

№ На основании соотношений (2.32) и (2. 31) между 
функциями распределения и плотностями из (25) следует, 


что 
Г(х, у) =Н (%)Ь (9) (26) 


(в случае векторных Х и У для получения соотношения 
(26) формулу (25) следует продифференцировать по одному 
разу по каждой координате вектора У). < 

Таким образом, каждое из условий (25) и (26) необхо- 
димо для независимости случайных величин Х и У. 

№» Покажем, что (26) и достаточно. Для этого вычис- 
лим вероятность пересечения событий ХЕА иЕВ, пред- 
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полагая, что выполнено условие (96). Подставив выраже- 
ние (26) в формулу (2.9), получаем *) 


Р(ЦХЕАУЕВ) =Р(Х, УЕАХВ)= 
= А А(х, уха = \ 4х О Фа= 


АХВ. 
ай \ р (хах | [, (у ау, 
А 7: 


или, вследствие (2.9), 
Р({ХЕА} {УЕВ}) =Р(ХЕА)Р(УЕВ) 


при любых Аи В. Отсюда следует, что события ХЕА 
и УЕВ независимы при любых А и В, если выполнено 
(26), что и доказывает достаточность условия (26) для 
независимости величин Х и У. Условие (25), очевидно, 
также достаточно, так как из (25) следует и (26). < 

Таким образом, каждое из условий (25) и (26) необхо- 
димо и достаточно для независимости сл учайных величин 
Х иУ. 


Сравнив (26) с (22), заключаем, что для независимости 


случайных величин Х и У необходимо и достаточно выпол- 
нение условий 


(«| =р(х), (|=. (27) 


Очевидно, что оба эти условия необходимы, но достаточно 
выполнения одного из них, так как в силу (22) каждое из 
тождеств (27) является следствием другого. 


Пример 11. В примерах 1 и 7 случайные величины Х и У 
зависимы, если С1о 72 0, и независимы, если с1› =0. Из (15) следует, 
что величины Х и У коррелированы, если с1› 72 0, и не коррелиро- 
ваны, если с1.=0. Таким образом, координаты нормально распреде- 
ленного двумерного случайного вектора зависимы, если они коррели- 
рованы, и независимы, если они не коррелированы. 

Пример 12. В примере 3 проекции случайного вектора неза- 
висимы. 

Пример 13. В примерах 4. и 9 проекции случайного вектора 
зависимы, несмотря на то что, как мы видели в примере 3.8, они 
не коррелированы. В более сложном случае примера 3.9 проекции 
случайного вектора зависимы и в то же время коррелированы. 

Пример 14. В примере 5 проекции случайного вектора Х и У 


зависимы. Это еледует из формального сравнения }» (у) и ро (и|х),. 


полученных в примерах 65 и 10. При этом Х и У в общем случае 
коррелированы. В частных случаях они могут быть и некоррелиро- 


*) АХВ представляет собой прямое произведение множеств Аи 
В, т.е. множество упорядоченных пар {х, у} таких, что хЕА, уЕВ. 
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ванными. Так, в примере 3.10 и в более общем случае четных функ- 
ций 2 (х) и Ф(х) величины Х и У не коррелированы. В случае чет- 
ной &(х) и нечетной ф (х) величины Х и У коррелированы. | 


Случайные величины Х,, ..., Х,„ называются незави- 
симыми, если события Х,ЕА, (Е ==1,..., п) независимы 
для любых множеств А.,..., А„, для которых определены 
соответствующие вероятности. Случайные величины 
Х., ..., А, называются зависимыми, если существуют 
множества А,, ..., А„, для которых события Х, Е А, (Е = 
=]|,..., И) зависимы. Эти определения относятся как к 
скалярным, так и к векторным величинам Х,, ..., Х,. 

Так же как в случае двух ‘величин, из этого опреде- 
ления следует, что для независимости Х., ..., А „ необхо- 
димо и достаточно, чтобы их совместная функция распре- 
деления (плотность, если она существует) ‘была равна 
произведению их функций распределения (соответственно 
плотностей). 

Попарной независимости величин Х., ..., Х„ недо- 
статочно для того, чтобы они были независимыми. | 

Пример 15. Пусть Х: и Х.— независимые случайные вели- 

чины, каждая из которых имеет два возможных значения 0 и | с ве- 
роятностями 1/2, Хз=Х.Х.-| (1—Х,) (1—Х.). Величина Хз также 
имеет два возможных значения Ои 1, вероятности которых равны 
1/2, так как Р (Хз=0) =Р (Х. =0)Р(Х.=1-Р (Х, =1Р(Х,=0) = 
= 1/2, Р (Хз=1) =1—Р (Хз =0) = 1/2. Величины Х:, Хьи Хз попарно 
независимы, так как — 


Р (Х1=0, Хз-=0)=Р (Х1=0) Р (Х,= = =Р (Х1=0)Р (Хз=0), 


Р (Х,=0, Хз=1=Р (Х,=0) Р (Хь=0) =—==Р (Х1=0) Р (Хз=1), 


Р(Х!=1, Хз=0=Р (Х.=1Р (Хь=0) =-—-=Р (Х,=1)Р (Хз=0), 


ны | + | №| = 


Р(Х:=1, Хь=О=Р (= Р (Х,=0 = =Р (Х,= ПР (Хз=1), 


и аналогичные равенства справедливы для Хо, Хз. Однако. 
Р(Х1=0, Хь=0, Х.=0)=0#Р(Х, =0)Р (Х.=0)Р (Хз =0). 
Следовательно, величины А|, Х. и Хз зависимы. 

Пример 16. Трехмерный случайный вектор Х ={Ху, Х,, Хз}, 
равномерно распределенный на поверхности тетраэдра с вершинами 
в точках (0,0, 0), (0, 1,1), (1,0,1), (1,1, 0), имеет плотность 

| | 
(=> Тон) (1) Тел (Хэ) цел» (Хз) [9 (ха-ха — хз) 
о (жа ха — ху НО (жа ху — ха) (Е хо хз — 2)], 
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где 1.) (х)— индикатор интервала (0,1). Любая координата этого 
вектора распределена равномерно в интервале (0, 1), а его проекция 
на. любую координатную плоскость распределена равномерно на 
квадрате (0, 1) Ж (0, 1) = (0, 1)?. Следовательно, величины Х1, Хои Хз 
попарно независимы. В то же время они зависимы, так как в про- 
тивном случае распределение вектора Х было бы равномерным в кубе 
- (0, 13. 

Пример 17. Плотность п-мерного случайного вектора Х опре- 
деляется формулой 


Г (х) = (х1)..- [п (х„)- а (х), 


где [1 (х), ..., [п (х) — любые плотности (возможно, содержащие линей- 
ные комбинации б-функций), а д (х) — любая функция, удовлетворяю- 
щая условиям: 


[81 (а)... (хи) при всех 1, ..., Хи; 


2) | (м) ль =0 при всех хр, РВ (#1, ..., п). 


_-х 
Этим условиям удовлетворяет, например, функция 
& (х) = &1 (х1).. .Вп (Х), 


где в! (х), ..., &„ (х) — любые нечетные функции, модули которых 
при всех х меньше соответствующих функций | (х), ..., № (Х. 
Интегрируя плотность }(х) по какой-нибудь одной координате, убеж- 
даемся в том, что любые п—1| из координат вектора Х независимы, 
причем [»(хь) есть плотность координаты Х» (&=1, ..., п). Однако 
все п координат вектора Х зависимы, если в (х) =Е 0.. 

Подобных примеров можно’ привести много. В частности, этот 
пример легко распространяется на векторные величины Х1, ..., Ап. 


2.4. Независимые величины не коррелированы. Дока- 
жем, что независимые случайные величины всегда не корре- 
лированы. | 

№ Подставив выражение (26) совместной плотности 
независимых случайных величин Х и У вформулу (3.22) 
для ковариации, получаем 


ь,,= } ` (х—т,) (ут) ФЬ фах = 
= болтуноах | 9-п) Фа. 
Но 
. (у—т,) |, у 4 = К УГ, (у)ау —т, ) ь(у4у=0. 
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Следовательно, №,,=0, что и доказывает наше утверж- 
дение. 4 

_ Зависимые случайные величины, как показывают при- 
меры 11—14, могут быть коррелированными, а могут 
быть и некоррелированными. 

2.5. Независимость функций независимых величин. 
Докажем, что если величины Х., ..., А», независимы, то’ 
и любые их функции У АЕ. в ФАЛЬ) 68а 
висимы. И 

№ Действительно, в этом случае 


Р( п, в (ХОЕВЬ ) 
а (и). Ыб) Фи. ани 


Ф!: (ЕВ, Фи (Хп) Е Вп 


-П \ №04 - ПР ЕВ 


Е =] 
ФЕ (ХЕ) Вр 


для любых множеств В.,..., В, в соответствующих про- 
странствах. 4 

2.6. Теорема умножения математических ожиданий. 
В п. 3.2.4 была выведена формула (3.30), связывающая 
математические ожидания, ковариацию и смешанный на- 
чальный момент второго порядка двух случайных вели- 
чин. В случае действительных величин Х и У эта формула 
имеет вид 


7х, = Ни, т, 


Отсюда следует, что если случайные величины Хи У не 
коррелированы (№„,==0), то ?хи = тут, или 


МХУ = МХ.МУ. _ (28) 


Таким образом, математическое ожидание произведения 
двух некоррелированных действительных случайных вели-. 
чич равно произведению их математических ожиданий. 
Эта теорема умножения математических ожиданий спра- 
ведлива, в частности, для независимых случайных вели- 
чин, Так как независимые величины, как было показано 
в п. 2.4, всегда не коррелированы. | | 

Естественно возникает желание обобщить эту теорему 
на любое число величин. Однако некоррелированности 
и даже попарной независимости случайных величин для 
этого уже недостаточно. 
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Пример 18. В условиях примера 18 величины Х1, Хой Хз 
попарно независимы, а следовательно, и не коррелированы. Их про- 
‚изведение имеет два возможных значения 0 и 1, причем значение 1 
достигается только при Х: =Х, =|, а вероятность этого равна 1/4.. 
Следовательно, МХ!Х.Хз =1/4. В то же время МХ, = МХ, = МХ. = 

== 1/2 и МХ,.МХ.. МХ: = 118. Следовательно, теорема умножения 
математических ожиданий в данном случае не справедлива. 


}> Если случайные величины Х,, ..., А„ независимы, 
то для любых функций ф, (Х/), ..., Ф,(Х,) 


Мф, (Х1) , (Х,)...Ф(Х,) = 


—- \ ... \ фа (х1) Фе (хз)... 


ыы ‚Фи (1) | (х;) | (х.). ы Ча (х„) 4х. ь ‚Ах, = 


= ) Ф: (Хи) [1 (х1) ах, \ Е 


} (=) Ес) 4х, = М, (Х.) Мф, (Х.) ...МФ.(Х,), 


причем математическое ожидание в левой части сущест- 
вует тогда и только тогда, когда существуют все матема- 
тические ожидания в правой части. < 

Таким образом, если случайные величины х, р 
независимы, то математическое ожидание произведения 
любых п функций этих величин, каждая из которых зави- 
сит только от одной из величин Х!,..., А», равно произ- 
ведению математических ожиданий этих функций: 


Мф, (Х!) $. (Х‚„). --Фа (Х„) = 
= Мф, (Х,) Мф, (Х,)...Мф,(Х,). (29) 


Эта теорема справедлива как для скалярных, так и для 
векторных величин Хр, ..., А, И для произвольных 
комплекснозначных функций ф;, ..., Ф,. | 

В частном случае действительных величин Ат, ..., Ав 
можно взять Фф, (Х.) =АЛь, ..., Ф,(Х,) = Хр, и мы ПОЛУу- 
чаем обобщение теоремы умножения математических ожи- 
даний на любое число случайных величин: математиче- 
ское ожидание произведения независимых действительных 
случайных величин равно произведению их математических 
ожиданий. 

Так как комплексную случайную величину можно 
рассматривать как функцию двумерного случайного век- 


148 


тора, координатами которого служат ее действительная 
и мнимая части, то из (29) следует, что теорема умноже- 
ния математических ожиданий справедлива и для неза- 
висимых комплексных случайных величин. | 


Пример 19. Показать, что теорема умножения математических 
ожиданий справедлива для действительных случайных величин Ху, ... 
... А, @сли все их смешанные центральные моменты до порядка в 

‚ включительно равны 0, 


-$ 3. Условные числовые характеристики 


3.1. Условное математическое ожидание. Все введенные 
в главе 3 числовые характеристики можно мы и 
для условных распределений. 

В частности, из формулы (3.3) вытекает определение 
условного математического ожидания данной функции 
ф(У) случайной величины У при данном значении Х слу- 
чайной величины Х: 


|.) 


М [®(У)[х] = ‚| ФИ (9х ау, (30) 


-- 


где {,(и|х) — условная плотность величины У при данном 
значении х величины Х. Эта формула определяет услов- 
ное математическое ожидание как в случае скалярных, 
так и в случае векторных величин Х, Уи 2=Ф$(У). 
Из формулы (30) как частный случай вытекает фор- 
мула для условного математического ожидания случайной 
величины У при данном значении х величины А: 


[2 


М [У |] = } 91994. 0 


3.2. Регрессия. Обозначение [,(и|х) применяется для 
плотности случайной величины У, зависящей от пара- 
метра х, и в том случае, `когда х не является значением 
некоторой случайной величины Х. Формулы (30) и (31) 
в этом случае определяют математические ожидания вели- 
чин Уи Ф(У) как функции параметра х. 

Математическое ожидание случайной величины У как 
функция параметра х, от которого зависит распределе- 
ние У, называется регрессией У на х. В частном случае, 
когда параметр х представляет собой возможное значение 
некоторой случайной величины Х, регрессия У на х пред- 
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ставляет собой условное математическое ожидание вели- 
чины У при Х ==х. 

График функции у=М [У |[х] в случае скалярных х 
и У называется кривой регрессии У на х. 

Если параметр х представляет собой значение случай- 
ной величины Х, то, кроме регрессии Г на х, можно 
определить также регрессию Х на у. 

Определив условное математическое ожидание, можно 
определить и .все условные моменты случайных величин. 
Ясно, что все условные характеристики случайных вели- 
чин при данном значении х случайной величины Х в об- 
‘щем случае являются определенными функциями х. По- 
этому их можно рассматривать до опыта как функции 
случайной величины Х. В этом случае они сами будут 
случайными величинами. 

Условное математическое ожидание случайной вели- 
чины (=ф(У), рассматриваемое как функция случайной 
величины ХА, М[ф(У)|Х|, называется условным матема- 
тическим ожиданием случайной величины 2 =ф (У) отно- 
сительно Х. 

Так как условные математические ожидания и другие 
условные моменты случайных величин относительно слу- 
чайной величины Х сами являются случайными величи- 
нами, то для них, в свою очередь, можно определить 
числовые характеристики, в частности математические 
ожидания и моменты. 

Пример 20. В и 3.9, 4и9 

х2 
[2 (их) УЕ при |у—сх|< Е 
и [> (ух) =0 при всех других значениях у. Поэтому 
. | сх+Ь УТ -—х2/а? 
ыы |х] = ОВ ут 
сх-БУт-—х2/а2 
Таким образом, условное математическое ожидание У при Х=х 
в данном случае равно сх. 


Условная дисперсия величины У при Х =х, в соответствии с ре- 
зультатом примера 3.3, определяется формулой 


уау= сх. 


о 


ри = 


(а? —х?). 
Предлагаем читателю самостоятельно доказать, что в этом случае 


М [ХУ = 2 ера 
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Пример 21. В случае двумерного нормального распределения 
(примеры | и 7) условное математическое ожидание и условная дис- 
персия величины У при Х ==х определяются формулами 


МУ |1 =5—-9 (х—а), ое В 
С22 С22 


Таким образом, уравнение кривой регрессии У на х имеет в данном 
случае вид _. 


[ 
у=Ь— № (х—а): 
С22 
’Аналогично находим уравнение кривой регрессии Х на и: 
с 
х=а— —— (и—Ь). 
Ст 


Легко видеть, что кривая регрессии У на х представляет собой диа- 
метр эллипса рассеивания, сопряженный с направлением оси у, а 
кривая регрессии Х на у диаметр, сопряженный с направлением 
оси Хх. 


3.3. Формула полного математического ожидания. 
Выведем одну ‘часто применяемую в теории вероятностей 
формулу. 

№ Применив формулу (3.3) для вычисления матема- 
тического ожидания функции Ф(Х, У) случайного век- 
тора {Х, У} можем написать 


МФ(Х, У) = } 90, Г рак, = (3) 


где [(х, у) —плотность случайного вектора {Х, У}. Под- 
ставив сюда выражение |(х, и) из (23): 


[(х, = р (Ь (их), ь 


будем иметь 


Мф(Х, У) = | ) ф(х, О.в 1,94%. 


- 


Но интеграл в фигурных скобках представляет собой 
условное математическое ожидание случайной величины 
ф<(х, У) при данном значении х величины Х: 


[* 


ох урию = М ва, У 


-. © 


151 


Следовательно, ‘предыдущую формулу можно переписать 
в виде 

МФ(Х, У)= } М[Ф(,, У 4х. = (39) 
Правая часть этого равенства представляет собой мате- 
матическое ожидание функции 


ф(Х) =М[Ф(Х, У) |Х] 
случайной величины Х. Следовательно, 
Мф(Х, У) =М [М [‹%(х, У)| Х]. 9 (34). 


Эта формула называется формулой полного математиче- 
ского ожидания. Она показывает, что при вычислении 
математического ожидания функции двух случайных ве- 
личин можно сначала найти условное математическое 
ожидание этой функции при фиксированном значении 
одной из величин-аргументов, а потом найти математи- 
ческое ожидание этого условного математического ожи- 
дания, рассматриваемого как функция этой случайной 
величины. 

Формула (34) справедлива как для скалярных, так 
и для векторных случайных величин Х и У. В послед- 
нем случае все интегралы в предыдущих формулах сле- 
дует понимать как кратные интегралы по соответствую- 
щим пространствам. | 

Формула (34) верна и для комплексных случайных 
величин (в том числе векторных) Хи У. Чтобы убе- 
диться в этом, достаточно понимать |, (х) и [, (и|х) в пре- 
’дыдущих выкладках как плотности случайных векторов, 
образованных действительными и мнимыми частями вели- 
чин Х и У (или`всех их координат). 

В частном случае при ф(Х, У) =У формула (34) дает 


МУ=М[М[У|Х]. — 85) 


Таким образом, математическое ожидание условного мате- 
матического ожидания случайной величины У относи- 
тельно Х равно безусловному математическому ожиданию 
величины У. 

В частном случае дискретной величины Х, подставив 
в (33) выражение (2.24) ОЕ |: (х), получим 


Мф (^, у) = р: ры М [У 1х]. (36) 
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Пример 22. Число приборов, поступающих в течение дня 

в ремонтную мастерскую, представляет собой случайную величину, 

аспределенную по закону Пуассона с математическим ожиданием п. 

роте того, что поступивший прибор потребует большого ре- 
монта, равна р. Найти математическое ожидание числа поступаю- 
щих за день приборов, требующих большого ремонта, 

При данном числе п поступивших за день приборов число при- 
боров, требующих большого ремонта, представляет собой случайную 
величину, распределенную по биномиальному закону. Поэтому, _ 
в соответствии с результатом примера 3.1, | 


М[У|[ п] =лпр 0: 19...) 


Вероятность того, что в течение дня поступит п приборов, в соот- 
ветствии с (1.46), определяется формулой 


р Ри (в=0, 1,2, ...). 
п п. > 1 му ое 


Подставив полученные выражения вероятностей и условных мате- 
матических ожиданий в формулу (56), получим 


[®*) ©) 
и _ 
ми =У, рыМ [У [1] = У, те пр = 
п=0 п=| 


ее 
и м Ре - 
= пре Е > (п! № Ме" = р. 
п=| 


$ 4. Многомерное нормальное распределение 


4.1. Математическое ожидание нормально распреде- 
ленного вектора. Изучим нормально распределенные 
случайные векторы. В соответствии с (2.22) напишем 
выражение плотности п-мерного нормально распределен- 
ного вектора Х в виде 

т 
А И. о, 87) 
Результаты изучения одномерного и двумерного нормаль- 
ных распределений в $ 3.6 и в примерах [и 7 наводят 
на мысль, что параметр а в (37) представляет собой 
математическое ожидание случайного вектора ХХ, 
а=т,= МХ, матрица коэффициентов С квадратичной 
формы в показателе степени обратна по отношению 
к ковариационной матрице К, вектора Х, а коэффициент 
А, при показательной функции определяется формулой 
| А и ТС ВЕ СЕНЕ 38 
"И 2" УТКУ —. 
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Так как это верно для и=|[ и п=2, то для доказа- 
тельства этого утверждения в общем случае проще всего 
применить метод индукции. Предположив, что утверж- 
дение верно для (п —])-мерного вектора, докажем, что 
в таком случае оно верно и для п-мерного вектора. 
№» Пусть Х’— случайный вектор, образованный первы- 
ми п—| координатами вектора, Х, Х’=={Х., ..., Хи-а, 
и представим плотность }(х) в соответствии с (23) в виде 
произведения плотности |; (х’) вектора Х’ и условной 
плотности последней координаты Х, вектора ДХ: 


о р, © _ (39) 


Для этого достаточно разложить }(х) на два множителя, 
один из которых не зависит от х,„, а другой при интег- 
рировании по х, в бесконечных пределах дает постоян- 
ную величину, не зависящую от х’. Тогда выбором под- 
ходящих числовых множителей к этим двум ии 
получим требуемый результат. 

_ Выделим в показателе степени в (37) все слагаемые, 
зависящие от х,. Для этого положим для краткости 
и=х—а и представим матрицу коэффициентов С в виде 
блочной матрицы: 


С11 С12 ... СТ и-1 С1я 
С12 С52 ... С, Н-1 Соп 
С Е [9 
=— о с ® Г ® э ® Г з 5 . . ® 7} ® . а . о — 
2 | Г , 
М [9 бы. 
СТ п-Т С. п-т +. Сп-рп-1 Си-Ьп ий 
Сп Сов ... СН, п Сип 


где С; —матрица коэффициентов при и „и, (р, 9=1,....п—1), 
а с—матрица-столбец коэффициентов при и,и, 


р=Ь..., п). Точно так же матрицу- “столбец и 
разобьем на два блока и’ и и,, иТ=[иТ и,]. Тогда будем 
иметь | 
6 6 : 
теги 1 = 
ШоиЕи и | | р |. 


Си’ си 
—= [ит и] | 1’ -- п | = ш7Си’ + шеи, + 


Ета -- СипИп | 
7 ? 
АР ИСИ синий = и ТСли Зи сти’ си, 
так как и’Тс = сТи’ *). Дополнив два последних слагаемых 
до полного квадрата и снова пользуясь равенством 


*) Читатель, которого затрудняют выкладки с блочными матри- 
цами, легко убедится в справедливости этого равенства, представив 
его в скалярной форме. 
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сТи’ = и’Тс, получим 


Т/’\2 ы 
С: И 
и | о. | 
пп 
ити т сТи’ 
— — (сТи’) = и’ би ит ий с (и, +) 


Спп 


Вводя для краткости матрицу 


рые (40) 


Спп 


перепишем полученное равенство в виде 
: И сТи’ \?2 
ии =и ти ст [Ши -+-—— (41) 


Подставив это выражение в (37) 1 И ВСПОМНИВ, ЧТО И =х— а 
и, соответственно, и’=х”’—а’, получим 


[(х) = А, ехр | > (ХТ —а’Т) С’ ("—а') | х 
х ехр |— С Ё —а„ + (х’ —) "1 . (42) 


Интеграл от второй показательной функции по х, В бес- 
конечных пределах не зависит от х’, в чем Можно убе- 
диться, приняв за переменную интегрирования выраже- 
ние в квадратных скобках вместо х,. Следовательно, 
эта показательная функция пропорциональна условной 
плотности {, (х„| х’) случайной величины Х,„ при данном 
значении Хх’ величины Х’. Сравнив эту показательную 
функцию с выражением (3.85) одномерной нормальной 
плотности, получаем 


| СТ. р. 
С к. а И а ’ 
нор У [ила] 


Оставшийся множитель в (42) представляет собой плот- 
ность случайного вектора Х*: 


К (х’) =А „У= ехр \— (и ас (и—а/)| . (44) 


Из (41) следует, что матрица С” положительно опреде- 
ленна, так как при любом вектор и’ и и, = —(сТи’)/с 

имеем и’ТС’и’ =иТСи > 0. Следовательно, распределение 
вектора Х’ нормально. А так как по предположению 
для (пП—1|)-мерного нормального распределения наше 
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ЖАН справедливо, то 


1 | 
а Я Ул К»|’ — 
С’К» =1, (46) 


где К,. —ковариационная матрица случайного вектора 
Хх, и а’=МХ’ или, что то же, а›=т,= МХ, 
(р=1,.... ПП. 

Таким образом, величины а,,. .,@,-1 равны мате- 
матическим ожиданиям т,, ..., т1„-1 случайных величин 
Х,, ..., ^„-1. Вследствие симметрии выражения плот- 
ности (37) относительно переменных х,, ..., х, заклю- 
чаем, что и величина. а, равна математическому ожида- 
нию т, случайной величины Х,. Поэтому а= МХ, что 
и доказывает первую часть утверждения для п-мерного 
распределения. 

4.2. Ковариационная матрица. Докажем теперь, что 
ковариационная матрица А, вектора Х равна С-*. 

> Положим 


| ОТ 
У=Х„—а,--— (Х’ —а.). _ (47) 


При данном значении х’ вектора Х’ условное распреде- 
ление величины У,, очевидно, получается соответствую- 
щим сдвигом условного распределения величины Х,. 
Поэтому из формулы (43) следует, что условная плот- 
ность величины У, при Х’==х’ определяется формулой 


’ Спв --- ппу 
8 (у | Хх ) = д е 


_ и, следовательно, не зависит от х’. Это значит, что слу- 

чайная величина У, не зависит от случайных величин 
Х:; ..., Х„-1. Но независимые величины всегда не кор- 
релированы. Следовательно, ковариации случайной вели- 
чины У, со всеми величинами Х,,..., Х„-, равны нулю. 
Для вычисления этих ковариаций, принимая во внима- 
ние, что а„=МХ,, а’=МХ’, перепишем (47) в виде 

п-1 


С 
— хо РП ухо 
У, = 1 — р* 


р=1 Спп 


«: 

 Умножив это равенство на Х° и взяв математическое 
ожидание, найдем ковариацию У, и Х,.. Учитывая, что по 
доказанному она равна О при г=1,..., п—1, получим 
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соотношения 
0 (= пы), - (48) 


откуда находим 


У вдня о (=... 10-1. = (49) 


Перепишем теперь (46) с учетом (40) в скалярной форме: 


п-1 | 

, с,нС : 
у | риб5п \ _ а и + 
р= - 


или, так как С. =С 


п5? 


у К, С р$ — Си уз тр = в. 


АГ Спв 
Но из (48) следует, что о 
т-1 Е 
рп 
— Ре ЕЯ 


ыы формулу можно переписать в виде 
р КС рз = 0; (ап " (50) 


Формулы (49) и (50) показывают, что равенства (50) 
справедливы при $=1,..., И; Гг=|,..., П— |. Вследст- 
вие симметрии выражения (37) плотности относительно 
переменных х,,..., х„, наряду с (50) справедливы и ра- 
венства, ыр чаемые из (5 20) круговой подстановкой индек- 
о а равенства (50) справедливы 
при всех г, ее. ..., П. Это и доказывает, что матрицы 
Си К, являются взаимно обратными. < 

4.3. Коэффициент при показательной функции. Дока- 
жем последнюю часть утверждения — равенство (38). | 

> Заметим, что так’как с„„—элемент матрицы С, об-. 
ратной -по отношению к К,,, а "алгебраическое дополнение 
‚элемента А,„ в определителе |К„| есть |К,,|, то С.и= 
_=|К,,|/|К,|. Подставив это выражение в (45) и учтя, 
что определители взаимно обратных матриц являются 
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взаимно обратными величинами, мы и получим . фор- 
мулу (38) для коэффициента А,’ в (37). 

Таким образом, при любом п коэффициент А, в вы- 
ражении нормальной плотности определяется форму- 
лой (38), а=т,, С=Кр;. Поэтому выражение (37) плот- 
ности нормально распределенного случайного вектора Х 
можно написать в виде 


Го уриекне ехр | 5") Кри —т,)}. 61 


`Эта формула показывает, что многомерное нормальное 
распределение полностью определяется математическим 
ожиданием и ковариационной матрицей случайного век- 
тора. Таким образом, нормальное распределение всегда 
полностью ‘определяется моментами. первого и второго 
порядков. 

Нормальное распределение случайного вектора с мате- 
матическим ожиданием т и ковариационной матрицей К 
коротко обозначается М (т, К). Таким образом, утверж- 
дение, что случайный вектор Х имеет распределение 
М (т, К), означает, что он распределен нормально и его 
математическое ожидание и ковариационная матрица 
равны соответственно ти К. В частности, утверждение, 
что скалярная (действительная) случайная величина Х 
имеет распределение М (т, 2), означает, что она рас- 
пределена нормально и ее математическое ожидание и 
дисперсия равны соответственно ти О. 

Заметим, что, доказав формулу (38), мы попутно. 
вычислили сложный И-кратный интеграл 


р и1 Си "Ам. 
Кез ‘и=Ул К, = т": (52) 


> 5 


Этот результат является одним из многочисленных при- 
меров решения математических задач чисто вероятност- 
ными методами. Используя вероятностные закономер- 
ности, часто удается вычислять сложные интегралы без 
выполнения интегрирований или упрощать их до такой 
степени, чтобы дальнейшее интегрирование стало эле- 
ментарным, а также решать многие другие задачи. 
4.4. Условные распределения координат. Формула (43) 
показывает, что условное распределение каждой коор- 
динаты нормально расиределенного случайного вектора 
при данных значениях всех остальных координат нор- 
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мально, причем условное математическое ` ожидание и 
условная дисперсия координаты Х„ определяются фор- 


мулами 
п-1 


| | а м Срп, : 
М [Х, |] =, —— (х —а =", — 2 —- (х„—тр), (53) 


р= 


Г.Х. ==. (54) 


Таким образом, от х’ зависит только условное матема- 
тическое ожидание величины Х,, представляющее собой 
сдвинутую линейную функцию Хх’, т.е. переменных 
и 

Из установленных фактов как следствие вытекает, 
что распределения и условные распределения проекций 
нормально распределенного случайного вектора’ на любые 
подпространства нормальны. 

№ Переписав формулу (53) в виде 


п-1 
М [хХ„|х]=т„ ат (х—т’)=т,- 2. вр (х —т,), (55) 
на основании соотношений (50) при $=й, г=1, ..., И 1, 
убеждаемся в том, что величины 9›=—сС„/с„„ Удов- 
летворяют уравнениям 
| п-1 
Ум, в, (-Ь апр, = 60 
или в векторной форме 
Киа =А, _ (67) 
где А —вектор с координатами №, „, ..., Е, п. 


Таким образом, условное математическое ожидание 
случайной величины Х, при Х' =х ‚ представляет собой 
сдвинутую линейную функцию х’, коэффициенты которой 
определяются системой личейных алгебраических уравне- 
ний (56) или (57). 

4.5. Случай. некоррелированных координат. Рассмотрим 
частный случай, когда координаты случайного вектора Х 
не коррелированы. Иа 

‚ > В этом случае ^,‚,=0 при г=ёр и, следовательно, 


1 
Сра=0 при 9 =2р, И (р=1, м. 
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Выражение (37) плотности при этом принимает ВИД 


1 _ @1-а: — _(пт-а = во 
т (®ь оееу == е 211 МИ 2Апп = 


У (2л)"Ё11.. нп ы 
В ==; (х1) Р, (+) „+. [№ (Хо). 


Отсюда видно, что в случае некоррелированных коорди- 
нат нормально распределенного случайного вектора его 
плотность равна произведению плотностей его координат. 
Следовательно, координаты случайного вектора в этом 
случае независимы. < 

Таким образом, координаты нормально распределен- 
ного случайного вектора не коррелированы тогда и только 
тогда, когда они независимы. 

4.6. Вырожденное - нормальное распределение. Фор- 
мулы (37) и (51) определяют плотность.для нормального 
распределения только в том случае, когда определитель 
матрицы К, не равен нулю и, следовательно, ранг мат- 
рицы К, совпадает с размерностью п случайного век- 
тора Х. Если ранг матрицы К, равен г« п, то, как мы 
знаем из результатов 5 3.3, между координатами век- 
тора.Х*® существует п —г линейных зависимостей, вслед- 
ствие чего распределение полностью сосредоточено на 
г-мерном подпространстве, сдвинутом на вектор т, (если 
т, не принадлежит этому г-мерному подпространству). 
Выражение плотности случайного вектора Х в этом 
случае, как мы видели в п. 2.3.4, содержит множителем 
б-функцию (п —г)-мерного аргумента. 

> Если ранг матрицы К, равен г < п, то. существует 
отличный от нуля диагональный определитель порядка г 
матрицы К,. Соответствующая обратимая матрица К,, 
определяет нормальное распределение проекции Х’ слу- 
чайного вектора на подпространство, образованное соот-_ 
ветствующими осями координат: 


Га (х’) —= У ехр ‘— 5 —т’) Г К; (х' —т’)\ $ 
| (58) 


где т’=МХ’. Проекция Х” случайного вектора Х на 
дополнительное (п —г)-мерное подп р. НСТВО однозначно 
определяется из уравнений ф/Х°=0 (р=г- 1, п), 
Де ао ф, — собственные векторы матрицы. "К, 
соответствующие (п —г)-кратному нулевому собственному 
значению. Чтобы решить эти уравнения, представим 
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матрицы-столбцы ф„› Х и т, в блочном виде: 
Ф-Т ФТ, ХТ [ХТ ХТ], тете т” 
Тогда уравнения примут вид. о 
о ФТХ- фТХо 0 (речь... п). — (59). 
Собственные векторы ф,.,..., ф„ определяются уравне- 


ниями К,ф,=0 (р=г--1, ..., п). Представив матрицу 
К, в блочном виде: 


Ве К х’ К А” 
К. [кх Ко | 


можем написать эти уравнения в виде 

Каф Кир = 0, Ге (р=Е- | о 5 п). 
(60) 

Так как матрица К, обратима, первое уравнение можно 


решить относительно ф,. В результате получим ф,= 
—=— КуКх,х,фр. Отсюда, принимая во внимание, что 


в силу (3.42) Кг „= Ку» получаем фу = — фр Кхих, 
Подставив это выражение в (59), получаем 
фи (Хх —К„„КзХ'9) =0 (р=г-1, оу п). (61) 


Таким образом, мы получили систему однородных ли- 
нейных уравнений относительно координат вектора 
Х”*®— К» „К; Х’°. Докажем, что определитель этой системы 
не равен нулю. Для этого подставим выражение ф7 из 
первого уравнения (60) в соотношение ортогональности 
векторов {Ф,}: 

4 те $" ФФ = бра. 


Получим 
Фр (Фо — Ку КФ) =6а  (р=Г-Т,..., п). 
При любом фиксированном 9 =г-Т, ..., п правая часть 


одного из этих уравнений равна 1. Но система неодно- 
родных ‘линейных уравнений имеет решение только тогда, 
когда ее определитель отличен от нуля, что и доказы- 
вает наше утверждение. После этого уравнение (61) дает 
Хо = К»„КЕХ'’°, или 

Х"= т” 69. (Х' —т гв 


Отсюда' следует, . что условная плотность вектора Х” при 
данном значении х’ вектора Х’ определяется формулой 


ры ("| х’) = 6 (м —т’— КиК (х' —т’)). 
6 В. С. Пугачев | 18 


Подставив это выражение и выражение (58) плотности 
[, (х’) в формулу, найдем плотность случайного вектора Х: 


Г } = УЕ ехр | — 5 1 (х' —т ’К» (и —т’)| х 
хб (х”— т" —К„„Ки(х’ —т’)). ч (62) 


Распределение вероятностей, определяемое этой форму- 
лой, называется вырожденным нормальным распределением. 

“Так как 6-функцию всегда можно рассматривать как 
нормальную плотность, соответствующую ковариационной 
матрице, все элементы которой равны 0, то для вырож- 
денного нормального распределения справедлива дока- 
занная выше теорема, что распределения и условные рас- 
пределения всех проекций нормально распределенного слу- 
чайного вектора на любые подпространства, образованные 
осями координат, нормальны. 

Однако проекции случайного вектора на любые под- 
пространства, образованные осями координат, могут быть 
распределены нормально и в том случае, когда распре- 
деление этого вектора отлично от нормального. 


Пример 23. Плотность п-мерного вектора Х определяется 
формулой 


Г (х) = [м «8 (<), 


где № ()— любая нормальная плотность, `а & (х)— любая функция, 
удовлетворяющая условиям: 


1 12%) [<= [м @®) при всех х; 


2) \ 6 (х) 4хь =0 при всех х;, АЕ (Е=1, ..., п). 
—х® 
Интегрированием по любой координате вектора х убеждаемся 
в том, что проекции вектора Х на все подпространства, образован- 
ные осями координат, распределены нормально. Однако ‘распреде- 
ление вектора Х при & (х) == 0 отлично. от нормального. 


$ 5. Характеристические функции случайных величин 


1. Характеристическая функция и ее свойства. Ха- 
рактеристической функцией действительной случайной’ 
величины Х называется математическое ожидание слу- 
чайной величины её АХ, рассматриваемое как функция 
действительной переменной ^. 
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На основании (3.3) характеристическая функция ве- 
личины Х выражается через ее плотность [(х) формулой 


[9 


(2) = Мей" х = \ ем (х) ах. — (63) 


_© 


Эта формула определяет характеристическую функцию 
как для скалярной, так и для векторной величины Х. 
Размерность вектора ^, очевидно, всегда совпадает с раз- 
мерностью случайного ‘вектора га 

‘Так как |е^`Х|=1 при всех действительных А, то 
любая действительная случайная величина имеет харак- | 
теристическую ‚функцию. | 

‚Изучим свойства характеристических функций. 

1) Из (63) следует, что характеристическая функция 
непрерывна и что | в (№) |< 1, 8(0)=1, в(—Л) = (4). 

2) Характеристическая функция положительно опре- 
деленна: для любых значений Л, ..., Ам переменной А 
и любых комплексных. &,, ..., Ем 


ь: ‚0, Л, 0. (64) 


Из определения характеристической функции И СВОЙСТВ. 
математических в следует 
№ 


> А а 
„Хе, м) Е, Х Ме = 
М ет 2 


Можно доказать, что любая непрерывная положитель- 
(6) определенная, функция а (Л), 8 (0) = |, может быть ха- 
рактеристической функцией случайной величины [51, 119]. 

3) Характеристическая функция в. (и) величины У == 
= АХ --а, полученной в результате линейного преобразо- 
вания величины Х, выражается через характеристическую 
функцию в, (^) величины Х формулой 


в. (и) = ева; (АТ). _— (65). 
По определению 
2, (и) = Ме№"" = Мей" АХ — — интаМомтах — 
— ее ТаМе! АТЬТХ — (Тор, (Ту). 
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4) Из (65), в частности, следует, что характеристи- 
ческая функция проекции случайного вектора на любое 
подпространство С равна сужению его характеристической 
функции на это подпространство. 

В самом деле, если а=0 и А — матрица проектиро- 
вания на С, то АГ=А, АЛ=А для любого ЛЕС и 
А^=0 для любого вектора Л, ортогонального к О. 

В частном случае, когда подпространство С образо- 
вано некоторыми единичными координатными векторами, 
для нахождения характеристической функции проекции 
вектора Х на подпространство С следует в выражении 
5, (^)) положить равными нулю все координаты вектора А 
в дополнительном подпространстве. | 

_5) Характеристическая функция 8(^) суммы незави- 


симых случайных величин Х.,..., Х„ равна произведению 
их характеристических функций 8, (^) (Е =1,..., п): 
=) = Ц в» (®. (66) 


Действительно, по теореме умножения математичес- 
ких ожиданий (29) 


в (^) = Мейт Е Ц Ме^ТХ,. 
К=1 


6) Если Х.,..., Х, — независимые случайные Ее 
то характеристическая функция 8(^), А=[ А. -.А, Г, с0- 
ставного случайного вектора Х=|Х,...Х, |1 равна о 
ведению характеристических функций в, (^, =) 
величин Ху, ..., Х‚: ” 


8 (^) = ИП [4 (^,,). | | (67) 


Действительно, по теореме умножения математичес- 
ких ожиданий (29) 


| к=1 


Наоборот, если совместная характеристическая функ- 
ЦИЯ Е Хх, ..., А, (составного вектора Х = 
=|Х.,..., Х„|0) выражается формулой (67), то величи- 
ны` Х,, ..., 2. независимы. Это следует из формулы 
(72), выражающей плотность через характеристическую 
функцию. 
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Таким образом, случайные величины Ху, ..., Х» неза- 
висимы тогда- и только тогда, когда их совместная ха- 
рактеристическая функция равна произведению их харак- 
теристических функций. 


Пример 24. Характеристическая функция дискретной вели- 
чины Х с возможными значениями хи, ..., Хм и их вероятностями 
`р:, ..., Рм определяется формулой 


м ра 
8 (^)= У ре! 5. 


м=1 
Пример 25. Для биномнального распределения 


в (= У Сер” тет — (ре\-- дул. 


т=0 
Пример 26. Для распределения Пуассона 
|=) 


ь © 
а В о-иымт —-е-и А ие 1) 
8 (= р Е — и у 


т=0 


Пример 27. Для равномерного распределения в интервале (а, 6) 


Ь 
. __ еЁ №6 — ога 
80-5. 
а 
Пример 28. Характеристическая функция скалярной нормально 
распределенной случайной величины Х определяется формулой 


| 1 : (х-— т)? Ат а [2 
8 (^^) =——— ов д \ в Б ДЕ, 
Ио. У 215 
— < | _ 5 
‘Применив формулу (1) приложения 2, получаем 
| 1 
Ат-——- ОА? 
= ° . (68) 
Пример 29. Для -распределения 
{® =) 
Их ри | 
Л) =\е о хме-йхах = 
0) \ Гео 
| - (Е) ® 
ри+1 | 
уме-уау, 


Гао з 


где интегрирование производится по лучу [ в плоскости комплексной 
переменной у, выходящему из начала координат в направлении век- 
тора & —{^. Применив теорему Коши о равенстве нулю интеграла 
по замкнутому контуру от аналитической функции, не имеющей 
особых точек в области, ограниченной контуром, убеждаемся в том, 
что интегрирование по лучу { можно заменить интегрированием по 
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положительной части действительной оси. Тогда в силу определения 
(2.16) гамма-функции интеграл будет равен Г (и-- 1) и мы получим 


в (^) = ЕИ+1 (Е —1)-Ий-1. | (69) 
мер 30. В частном случае показательного распределения 
ормула (69) принимает вид 


Г. 
0) =,—. 


-2ь 54 


Пример 31. В другом ‘частном случае хХ2-распределения и = 
—=1п/2—]1, ^=1/2 и формула (69) дает 


2) =(1—2)-"/?. 


Пример 32. Для п-мерного нормально распределенного слу- 
чайного вектора 


\ ехр ая (хТ-- тт) К-1 (х—т) | ах. 


| | 
НИИ 
в = УБЕ 


Применив для вычисления интеграла формулу (2) приложения 2, 
получим 


а (^) =ехр тт Ат» |. (70) 
< 
5.2. Выражение плотности через характеристическую 
функцию. Характеристическая функция случайной вели- 
чины. полностью и однозначно определяет ее распределе- 
ние. Мы докажем это утверждение для случайных ве- 
личин, имеющих плотность, возможно содержащую ли- 
нейную комбинацию 6-функций. Доказательство в общем 
случае читатель найдет, например, в [51, 119]. 
№ Плотность непрерывной случайной величины неотри: 
цательна и интегрируема. Поэтому, предположив, что 
она непрерывна всюду, кроме, может быть, конечного 
множества точек (линий, поверхностей, гиперповерхнос- 
тей в случае векторной величины), можем представить 
ее интегралом Фурье: 


Л 
| Г 
Г — вл И, | е- те в (А) аА. (71) 
| -Л 


Эта формула определяет ](х) во всех точках ее непре- 
рывности, т. е. при всех х, кроме, может быть, некото- 
рого множества точек нулевой суммарной меры. Следо- 
вательно, она полностью определяет распределение не: 
прерывной случайной величины. 
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Формулу (71) обычно записывают в виде 

[*.9)] ` то 
| 1 у 
К = ол | 2-й #8 (№ 4, (72) 
где интеграл понимается в смысле главного значения 
Коши в случае, когда он сходится не абсолютно [69, 109]. 
Формула (72) определяет плотность и в случае дис- 
кретной или непрерывно-дискретной величины Х, так 
как в силу формулы (15) приложения 1 6-функция пред- 
ставима интегралом. Ре: 

ЭГ 

0 (х) = Г ЧА, | е?\ и -%) 0 (и) аи. 


Таким образом, м (72) определяет плотность, 
а следовательно, и распределение по данной характе- 
ристической функции для всех трех типов случайных 
величин, встречающихся в задачах практики. < 

5.3. Связь между характеристической функцией и мо- 
ментами. Чтобы установить связь между характеристи- 
ческой функцией и моментами случайной величины, рас- 
‘смотрим сначала случай скалярной величины. Ее харак- 
теристическая функция в соответствии с (63) определяется 


формулой - 


Ол | 


[2 


(= (хах. 
№» Предположим, что существует момент г-го порядка 
@&, величины Х. В этом случае существует и производная 
5”) (^) ыы \ хгейх} (х) ах =йМ ХгейХ, 


— < 


ъ 


Положив здесь ^=0, находим выражение для момента 
а. через характеристическую функцию: 


о, 1-78 (0). — (73) 


Если величина Х имеет моменты до порядка \ вклю- 
чительно, то на основании (73) характеристическую функ- 
цию 8 (^) можно представить формулой Маклорена: 


Гарт, 
в) =1 р АМ А» (74) 


где Ю,— остаточный член, 
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Заметив, что е-йтхр (Л) представляет ` собой характе- 
ристическую функцию центрированной случайной вели- 
чины Х’=Х —т,, из (73) получим 


Ат | де" (1) |. | (75) 


Если случайная величина Х имеет конечные цент- 
ральные моменты до порядка у включительно, то функ- 
ЦИЮ м - (^) можно ро 10 формулой Маклорена: 


е-\тхр (/) = -1+>. 1 й а АВК: (16) 
Совершенно так же для п-мерного ОО векто-_ 
ра Х получаем формулы для моментов @в,,.... ва И. 
Кн, .... В» Ва-—. о. А, РГ: 
| о дта (№) | 
т ВИ ет) 


Я д" И 
Е то в] ‚› (18) 
г Ты Е: 


: ри 
и выражения функций & (^) ие-^^ пхв (^) через моменты: 


& (^) = | —- ›» |ИА р» ее №... АЛп | Ю., (79) 


п 
И и 


е-- тхр (^) я 


№ . : я 
О 
2 И +... +Пн=г 

где равенство под знаком внутренней суммы указывает, 
что суммирование распространяется на все значения 

й, ..., й, =0,1, ..., Г, сумма которых равна г. $ - 
Полученные соотношения дают два простых и удоб- 
ных способа вычисления моментов случайной величины: 
способ дифференцирования характеристической функции 

и способ разложения ее по степеням ^. 


Пример 33. Для скалярной нормально распределенной слу- 
чайной величины Х на основании (68) имеем 


АИ = р. (—1 р» 95 #5 25 
| ы в =е * и т Ут И 


$=0 $=0 
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° Сравнив эту формулу с (76), находим 
Мр5-1==0, 25 955 х. 


Этот результат совпадает с полученным в $ 3.6. В данном случае 
споссб разложения характеристической функции в ряд значительно 
проще, чем непосредственное вычисление моментов. 

Пример 34. Для нормально распределенного п-мерного слу- 
чайного вектора на основании (70) имеем | 


2551 


В — 
я 125 

=. 55 5% рада" "Крзаз р, Ач" "Юр; аз. (81) 
5=0 


Ра, 91, -.., Р$, 95=1 


ПРА (. 
ат 1 
пе 2 -У Ка 


Отсюда видно, что все центральные моменты нечетного порядка нор- 
мально распределенного случайного вектора равны нулю. Для цент- 
рального момента четного порядка й.--.. а. —=2$ из сравнения 
(80) и (81) вытекает м! 


Ир, и р "ут » риа, * * -® р5495° (82) 


где сумма распространена на все возможные различные перестановки 
25$ индексов ру, 01, --., Ру, 95, из которых Й: индексов равны 1, 
й› равны 2, ..., В» равны п. Очевидно, что число таких перестано- 
вок, а и и число слагаемых в сумме (52), равно 
(2$)!/(й1!...йи!). Положив в (82) последовательно $5=2, В =4, Вь=0 
при ^> |: й1=3; А.=1, Вь=0 при > 8; ===, в, —=0 при 
&> 2 о, Па Из = 1, йьр =0 при © > 3; Пу ЙА =, 
й=0 при > 4, получим следующие формулы для центральных 
моментов четвертого порядка: 


Ио... 0 = ЗА, И зто... .0 = ЗА11А1о, 


о, о ааа -- АВ, =: (83) 
И 2110... .0= 1123 -- 2А1 Аз, 
[1 1110.. .0 = К12Аза - 1324 Е А1аА2з. 


Формулы (82) и (83) выражают центральные моменты нормально 
распределенного случайного вектора через элементы его ковариа- 
ционной матрицы. 

Заметим, что приведенный вывод формулы (82) для моментов 
нормально распределенного случайного вектора при помощи разло- 
жения его характеристической функции в ряд крайне прост, в то 
время как непосредственное вычисление моментов по Ома $ 3.5 
было бы весьма громоздким. 


Если распределение случайной величины. полностью со- 
средоточено в ограниченной области, то ее моменты всех 
порядков существуют и полностью определяют ее распре-` 
деление. 
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№» Для доказательства достаточно заметить, что если 
| | | 
О < а 1 
ствие чего члены ряда Маклорена характеристической 
функции по модулю меньше соответствующих членов 
сходящегося при всех ^,, ..., А, ряда 


ы “ №1... [т | Е | р 
О 
а... 
г=1 И, +... +Ви=Г 
те о 

5.4. Семиинварианты. В некоторых случаях удобно 
пользоваться разложением по степеням ^/, не самой ха- 
рактеристической функции, а ее логарифма. 

Если существуют моменты скалярной случайной ве- 
личины Х до порядка у включительно, то на основании 
формулы Маклорена 

А 


ша =У, им. = (84) 
г=1 
Коэффициенты 
‚Га тв (А) 
ит Е | о ((=1...^) (85) 


называются семиинвариантами или кумулянтами слу- 
чайной величины Х. Выразив производные |по(^) через 
соответствующие производные характеристической функ: 
ции, можно на основании (73) выразить семиинварианты 
случайной величины через ее моменты, и наоборот. Мы: 
предоставляем читателю самостоятельно найти эти зави- 
симости. Если воспользоваться формулой 


ша (^) = т, {е-йтхо (ХХ) _— (86) 


и принять во внимание (75), то получим выражение се- 
миинвариантов случайной величины через ее математи- 
ческое ожидание и центральные моменты: 


ы = Т», ==, Хз — Из, 
= Эа» = — ПОР, 
Ив = Ив — 15а — ТОрз-- ЗОць», 


‚® Ф 9 ® ® ® ® ® ® ® ® © 9 ® 
ы ы Ё и 


(87) 


Если существуют моменты п-мерного случайного 
вектора Х до порядка \у включительно, то формула 
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Маклорена дает 


ше =Уи У пел... А" Е У. (88) 


| й.+...-+ВАв=Г 
о ивы | 
| 9” [п &(^) 
уг ыы 
и, ий МИ ФТ... =Р) (89) 


называются семиинвариантами или кумулянтами слу- 
чайного вектора Х. Ясно, что семиинварианты порядка г 
выражаются через моменты до порядка г включительно, 
и наоборот. 

Формулы (68) и (70) показывают, что для нормально 
распределенной случайной величины все семиинварианты 
выше второго порядка равны ‘нулю. Следовательно, семи- 
инварианты случайной величины, начиная с третьего 
порядка, характеризуют отклонение ее распределения от 
нормального. 

Семиинварианты обладают одним интересным свойст- 
вом: семиинварианты суммы независимых случайных вели- 
чин равны суммам соответствующих семиинвариантов 
слагаемых. Это следует из свойства 5) характеристических 
функций. 

5.5. Порядок остаточных членов в разложениях. Оста- 
точные члены в (79), (80) и (88) имеют порядок о (|^ |). 
Мы докажем это, предполагая для простоты, что вели- 
чина Х имеет конечные моменты (у-- 1)-го порядка (хотя 
достаточно существования конечных моментов У-го по- 
рядка). 

№ Представив е'Х формулой Маклорена и имея в 
виду, что |АТХ | < ЛП ЛХ|, получаем 


У 


8) =1- ти, У, М ХУ, = (90) 
#— 
где 
= -| М отХуе+1 бАТх |= 


т 
«Ат ГМ =) 
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ат | ыы 
Так как е`*."яр (/) есть характеристическая функция 


центрированной случайной величины Х°, то из доказан- 
ного следует, что и Ю=0(]^ У). 
Наконец, подставив в формулу 
У 


п (1+2) = У, (—1'+1 2 +0(2°) _ (91) 


г=| 


выражение 2=5(^)—1 из (90), убеждаемся в том, что 
и № =о(^ |). 4 

В частности, положив в (90) и (91) у=2, получаем 
для характеристической функции случайной величины Х 
с конечными моментами третьего порядка_ 


ша (А) =ЙТт,— 5 МК, Ао (^ |) (92) 


(эта формула справедлива и в случае, когда Х имеет 
только моменты первого ‘и второго порядков). 


Глава 5 


‚ ФУНКЦИИ СЛУЧАЙНЫХ ВЕЛИЧИН 


— 


$ 1. Моменты функций случайных величин 


1.1. Точные формулы для первых и вторых моментов. 
В п. 3.1.3 и п. 3.3.5 мы научились находить первые и 
вторые моменты линейных функций случайных величин. 
Для определения этих моментов достаточно знать первые 
и вторые моменты величин-аргументов и не требуется 
знать распределения величин-аргументов. Иначе обстоит 
дело с нелинейными функциями случайных величин. 

Предположим, что случайный вектор У (в общем слу- 
чае комплексный) представляет собой данную функцию 
действительного случайного вектора Х, имеющего плот- 
ность ]|(х), У=Фф(Х). Моменты величины У можно опре- 
делить по формуле (3.3) для математического ожидания 
функции случайной величины. Пользуясь этой формулой 
и представляя векторы в виде матриц-столбцов, на ос- 
новании определений (3.35) получаем 


{2 


т, =МУ= МФ(Х)= \ Фа, (1 


_© 


|) 


Г, = Муу* =Мф(Х)Ф(Х)* = \ 


_< 


К, = Муз" = М [6 (Х) —т/ (Ху —тИ= 


=} [Ф—т/[®*)*—тИГ О) ах. (3) 


_- © 


(4) $6) 1) ах, (2) 


Точно так же по формуле (3.3) определяется взаим- 
ный второй момент и взаимная ковариационная матрица 
двух случайных векторов, представляющих собой данные 
функции У=ф(Х), 2=ф(Х) действительного случайного 
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вектора Х: | 
Г,, = МУ2* = Мъ(Х)%(Х)*= } (9) $(%)*Годах, (4) 


© 


Кг = МУ = \ [(х)—т [4 (х)*—тАРодах. (5) 


Формулы (1) —(5) применимы и к функциям комп- 
лексного случайного вектора. В этом случае под Х сле- 
дует понимать 2и-мерный действительный случайный 
вектор, координатами которого служат действительные 
и мнимые части координат п-мерного комплексного слу- 
чайного вектора-аргумента. 

В частном случае одномерных векторов У и 1 фор- 
мулы (1)—(5) определяют математические ожидания и 
моменты второго порядка скалярных функций случайных 
величин. | 

Формулы (1)— (5) показывают, что для’ определения 
математических ожиданий и моментов второго порядка 
нелинейных функций случайных величин необходимо в 
общем случае знать’ плотность величин-аргументов. 

Предлагаем читателю самостоятельно доказать, что в 
частном случае линейных функций Фф(Х) и ф(Х) из фор- 
мул (1), (3) и (5) вытекают соответственно формулы (3.49), 
(3.50) и (3.55) для математических ожиданий и ковариа- 
ционных матриц линейных функций случайного вектора Х. 


Пример 1. Шарики для шариковых клапанов изготовляются 
с ошибками в радиусе, распределенными по нормальному закону с 
математическим ожиданием го и средним квадратическим отклоне- 
нием о (конечно, о << уд). Найти математическое ожидание и диспер- 
сию площади диаметрального сечения шатика. ` 

Площадь $ диаметрального сечения шарика выражается через 
его случайный радиус известной формулой $=лА?. Следовательно, 
случайная величина э в данном случае является нелинейной функ- 
цией случайной величины Ю. Поэтому для определения т;ли О; 
следует воспользоваться формулами (1) и (3). Применяя формулу (1), 
будем иметь 


| | ор 1 Е ^ 
т; = | ен \ зе * б/а 
.) су 2л —<® 


Последний интеграл вместе с множителем 1/0 У 2л представляет 
собой начальный момент второго порядка О величины ВР, 


который на основании формулы (3.29) равен го--0?. Следовательно, 
ТЕ = л (ЕЕ с?). 
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После этого формула (3) дает 
© И’-—т ). 
Аг. 


Вычислив интеграл (что можно сделать, раскрыв скобки под знаком 
интеграла и путем интегрирования по частям избавившись от чет- 
вертой степени г), получим 


Вл" 0” ое } 

Пример 2. Найти математическое ожидание и дисперсию слу- 

чайной величины 

аи 
где Х — случайная величина, равномерно распределенная на интер- 
вале (—а, а). 

Плотность величины Х в интервале (—а, а) равна 1/(2а), а вне 
этого интервала равна нулю. Поэтому, применяя Формулу (1), по- 
лучаем 

, | а 
] у *}. 
Ту== ор \ (х° — №2) ао, 
—_—а 


После этого формула (3) дает 


4__ 2 2 
т | (хз — ^х)? 4х== Е, 


пр имер 3. В условиях примера 2 найти коварнацию случай- 
ных величин 


У=Х3— АХ, = Хз-НИХ, 
Сначала находим по формуле (1) математическое ожидание слу- 


чайной величины С, которое оказывается равным о После этого 
по р (5) находим 


4 2 2 . | 
255: ‚| а вл) (а--уах— Ва Е — 3511 а 


1.2. Метод линеаризации. Сложность вычисления ма- 
тематических ожиданий, дисперсий и ковариаций нели- 
нейных функций случайных величин приводит к естест- 
венному желанию пожертвовать точностью ради простоты 
и найти простые приближенные формулы, подобные фор- 
мулам для моментов линейных функций случайных вели- 
чин. Для получения таких приближенных формул обычно 
применяют метод линеаризации, который состоит в замене 
нелинейных функций достаточно близкими к ним линей- 
НЫМИ функциями, 
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Рассмотрим сначала случай скалярной функции ска- 
лярной случайной величины Х. В этом случае линеари- 
зация нелинейной функции ф (Х) сводится к замене кривой 
у=Ф(х) некоторой прямой у=ах-Н 5. Если удастся подо- 
брать прямую, достаточно близкую к кривой в области 
практически возможных значений случайной величины Х 
(в случае нормального распределения случайной вели- 
чины Х в интервале, (т,—3о,, т,-Р 3о„)), то можно рас-. 
считывать на то, что математическое ожидание и диспер- 
сия соответствующей линейной функции случайной вели- 
чины Х будут близкими к. 
математическому ожиданию и 
дисперсии нелинейной функ- 
ЦИИ. 

Посмотрим теперь, как 
следует выбрать прямую, за- 
меняющую данную кривую. 
Так как плотность случайной 
величины обычно имеет боль- 

т — шие значения вблизи матема-. 
Выё 18. тического ожидания и мень- 
шие вдали от математичес- 
кого ожидания (возможные значения случайной величины 
расположены «гуще» около математического ожидания и 
«реже» вдали от него), то естественно добиваться более 
высокой точности приближения прямой к заданной кривой 
около математического` ожидания случайной величины- 
аргумента, т.е. около точки х=т,. Поэтому наиболее 
естественным способом линеаризации для наших целей 
является замена кривой и==ф (х) отрезком касательной 
к ней в точке х=т, (рис. 18). При такой замене истин- 
ная нелинейная зависимость случайной величины У от Х 
заменяется приближенной линейной зависимостью 


У=ф(т,) Еф (т,) Х*. (6) 


Само собой разумеется, что для возможности такой замены 
необходимо существование производной функции ф(х) 
в точке х=т,. С аналитической точки зрения замена 
нелинейной функции ф(х) линейной функцией (6) равно- 
ценна замене приращения функции ф(х) в точке т, ее 
дифференциалом. . 

Аналогично получаем формулу (6) в случае векторной 
функции случайного вектора Х, дифференцируемой в 
точке 1т1,. В этом случае ф’(т,) следует понимать как 
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матрицу частных производных всех координат вектора 
ф(х) по всем координатам вектора х в точке х=т,: 


дф: 0Ф\ ` Оф: 
дх\ Охо —-— Ох. | 
ф’ (т) ыы о С. За а. м. { (7) 
дф; 09Ф; дф; | 
дх1 дхо т” Ох» х=т. 


Заменив. функцию Ф(Х) линейной функцией (6), 
можно применить для вычисления математического ожи- 
дания и ковариационной матрицы случайного вектора У 
формулы (3.49) и (3.50). В результате получим прибли- 
женные формулы 


ту —Ф(т,), К, 27 ф ” (т т,) КхФ’ (т,)}*. (8) 


Формулы (8), справедливые как для действительных, 
так и для комплексных скалярных или векторных слу- 
чайных величин А и У, позволяют достаточно просто, 
без сложных вычислений приближенно определять мате- 
матические ожидания и моменты второго порядка любых 
нелинейных функций случайных величин, непрерывных 
вместе со своими первыми производными. Эти формулы 
тем точнее, чем меньше отклоняется функция ф(х) от 
заменяющей ее линейной функции (7) в области практи- 
чески возможных значений величины- аргумента Х. Чем 
сильнее отклоняется функция Фф(х) от линейной функ- 
ции (7), тем меньше должны быть дисперсии координат 
вектора Х для того, чтобы можно было пользоваться 
формулами (8). Если ф (х) слабо отклоняется от линейной 
функции (т. е. ф’(х) изменяется медленно с изменением х), 
то формулы (8) могут быть достаточно точными и при 
больших дисперсиях координат вектора, Х. Если Ф(х) 

значительно отличается от линейной (ф’(х) изменяется 
_ быстро), то формулами (8) можно пользоваться только 
при достаточно малых дисперсиях координат вектора Х. 


Пример 4. В условиях примера 1 найти математическое ожи- 
дание и дисперсию площади диаметрального сечения шарика методом 
линеаризации. 

В данном Са $ = ф(К) =лК*. Поэтому $’ (г) =2лл и фор-` 
мулы в дают 


т =ф(т,) =ф (то) = лго, 
р; = |Ф’ (т,)[? 02 = | Ф' (го) |? 0? = 4лгоо?. 


Сравнив эти формулы с точными формулами примера 1, видим, что 
метод линеаризации в данном случае дает `хорошую точность, если 
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0? <», т.е. если дисперсия радиуса шарика мала по сравнению 
с квадратом его математического ожидания. Например, при б = 0,17% 
относительная ошибка определения т; методом линеаризации со- 
ставляет 1%, а относительная ошибка определения дисперсии О; — 
0,5 %. | ы 

Пример 5. Решить пример 2 методом линеаризации. 

В данном случае ф (х) =л3 —№х, Ф’ (х) =3^х?—А, и формулы (8) 
дают | 


^ 


т,=Ф (тх) = (0) =0, 
Ру=|Ф’ (т) Бу =[$’ (0)? ру =^?Оу. 


Вспомнив, что дисперсия случайной величины, равномерно распре- 
деленной на интервале длины 2а, равна а?/3 (пример 3.3), ‚получим 
окончательно Ду, = ^?а?/3. Сравнив этот результат с точной форму- 
лой примера 2, ° Видим, что в данном случае метод линеаризации 
дает хорошую точность, если а? < А. 

Пример 6. Решить пример 3 методом линеаризации. 

В данном случае ф(х) представляет собой двумерный вектор 
с координатами Фф/ (х) = хЗ — Ах, фо (х) = х3-- [х, 


р ‚ фи (0) — 
= (0) = — $ 
= [1 № 


и вторая формула (8) дает 

г ВИ 2 ПИ 

|. а =| : р и=| и а | 

Ку О, Г. —^1Ох Е 1 Ве 

откуда находим 
К 1а? 
$ 
Сравнив эту формулу с точной формулой примера 3, видим, что в 
данном случае метод линеаризации дает хорошую точность, если 
2 < ^, [. 

Пример 7. Ролики для подшипников изготовляются с ошиб- 
ками, приводящими к тому, что каждый ролик представляет собой 
эллиптический цилиндр с полуосями Го Хуи Го-- Хо высоты Хз, 
где о и /[, — номинальные значения радиуса и высоты ролика, а Ху, 
Х2, Хз— случайные ошибки производства, представляющие собой 
координаты нормально распределенного случайного вектора с нуле- 
вым математическим ожиданием. Найти математическое ожидание и 


дисперсию сбъема ролика. 
В данном случае У =ф (Х) =л (70 Ху) (го Х.) (6 Хь, 


ы _ [Г 0Ф 9 9$ ай о 
ф (тх) = |2 дхь дхз | Го пи |, 


и формулы (8) дают 


в: == == — 


т, =ф(т.)=ф (0) =лиой, 
К41 №2 №3 Го 
Р.= я [плот ой] кз 22 оз || ЛГо |= ' 
Юз Юэз. Кзз лго й 


= ли [(вн1 24, э-- 55) 8-2 (ваз-- №3) Иго- Ваз |. 


9 
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`В частном случае независимых ошибок Ху, Хо, Аз Ё12= Е! з==Азз=0 
И г 

2 2 2 
Ро = п? го (2. -|- 22) ®-- Рзт$ |, 


где О: =А;1, О. =Ао2, Оз= Ёзз 

Пример 8. Оценить точность определения математического 
ожидания и дисперсии случайной величины У=Ф(Х) для случая 
скалярных Х и У, предполагая, что функция Ф (х) имеет ограничен- 
ную вторую производную в области возможных значений величины Х. 


$2. Функция распределения функции случайного 
аргумента 


2: Общий принцип определения распределений функ- 
ций. Во многих задачах практики, особенно в матема- 
тической статистике, необходимо уметь находить рас- 
пределение функции случайонго о Мы будем 
решать эту задачу, пред- 
полагая все случайные 
величины, как скаляр- 
ные, так и векторные, 2 
действительными. Спо- 
собы нахождения рас- 
пределения функции 
У =Ф(Х) случайной ве- 
личины Х основаны на 


следующем  очевидном о 
положении. Чтобы слу- вр (8) 
чайная величина У по- Рис. 19. 


пала на множество В, | | | 
необходимо и достаточно, чтобы величина Х попала 
на множество Ав. значений х, которым соответствуют 
значения функции Фф(х), принадлежащие множеству. 
В, Ав={х: ф(х) ЕВ! *). На рис. 19 это проиллюстрировано 
для скалярных величин Х и У. Поэтому вероятность 
попадания величины У=Ф(Х) на множество В равна 
вероятности попадания величины Х на множество Ав= 
=41х: ф (х)ЕВ}.. 

2.2. Нахождение функции распределения. В зависи- 
мости от того, как выбрать. множество В, получаются 
разные способы нахождения распределения величины У. 
В частности, если принять В=\{У < и}, вероятность 
попадания величины Х на соответствующее множество 


*) Такое множество Ар называется прообразом множества В 
(соответствующим функции Ф (х)) и обозначается ф-1 (В), Ав=ф-1(В). 


179 


Ав=А,={х: Ф(х) < у} будет представлять собой функ- 
цию распределения случайной величины У =ф(Х). 

Очевидно, что для возможности определения функции 
распределения величины У=Ф(Х) необходимо и доста- 
точно, чтобы функция ф(х) удовлетворяла единственному 
условию: при любом у должна быть определена веро- 
ятность попадания случайной величины Х на множество 
А,={х: Ф(х) < и}. Такие функции называются измери- 
`мыми. Функции, с которыми приходится встречаться в 
задачах практики, всегда бывают не только измеримыми, 
но по болымей части и непрерывными, а часто и диф- 
ференцируемыми. 

Предположим, что известна плотность {, (Хх) случайной 
величины Х. Тогда на основании сформулированного 
принципа функция распределения РЁ, (у) случайной вели- 
чины У==Фф(Х) определяется формулой 


ву = Ако а= | ра. (9) 
ф(х) < и | 
у 
Эта формула справедлива как для скалярных, так и для 
‚векторных случайных величин Х и У (включая случаи, 
когда одна из них скалярная —одномерный вектор, а 


‚другая векторная). 


Пример 9. Дана плотность }(х, и) двумерного случайного 
вектора (Х, У). Найти ‘распределение отношения координат этого 
вектора 2=У/Х. 

Учитывая, что у/х <2 при у<ах, если х>0, и при у> 2х, 
если __ 0, находим по формуле (9) функцию распределения вели- 
чины 0: 


| 0 со | © 2х 
Ез(= | Бы, дахаи= {ах р да ах | ра, 94, 
у/х <2 — © 2х 0 — < 


Дифференцируя эту формулу по 2, находим плотность величины 7: 


Ва = а 29 4х. (10) 


ей <) 
В частности, в случае круговой симметрии распределения аргу- 
ментов [1 (х, И) =р (х2-Р у?) и формула (10) дает 
|) 


Ь@=2 \ хр (4? (1+ 2) 4. 
0 | ‹ 
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Замена переменных и=хУ 1-- 2? приводит эту формулу к виду 


|) 
2 Ре 
`\ ир (и) аи. Интеграл здесь представляет собой по- 


1-+ 22 
0 


стоянную, которая легко определяется из условия равенства еди- 
нице интеграла от плотности |» (2) по всей области возможных зна- 
чений отношения 2=У/Х, т.е. от —® до с. В итоге получаем 


[з (2) = 


] 

аспределение Коши (пример 3.6): 2) =——. 
р ред х (пр р ): [о (2) пл (1-Е 22) 

Пример 10. Распределение п-мерного случайного вектора Х 
задано плотностью [1 (х) = р (хТСх), где С — положительно опреде- 
ленная симметричная матрица. Найти распределение квадратичной | 
формы У = ХТСХ. 


По формуле (9) находим Ра (= \ р (хТСх) ах. Любую сим- 
хТСх <у 


метричную положительно определенную матрицу можно ортогональ- 
ным преобразованием привести к диагональной форме. Обозначим 
буквой Л диагональную матрицу, элементами которой служат 
собственные значения Л, ..., А» матрицы С. Тогда, имея в виду, 
что определитель ортогонального преобразования равен единице, по- 
лучим после соответствующей замены переменных 


Ро) = \ р (иТЛи) ам. 
иТли<у | 


Положим теперь УЛ и==ра *),` где р—скалярная неотрицательная 
переменная (модуль радиуса-вектора точки в п-мерном пространстве), 
‘а а—п-мерный вектор с единичным модулем, аТа==1 (координаты 
1, ..., и вектора % представляют собой направляющие косинусы 
радиуса-вектора точки п-мерного пространства). Перейдем от пере- 
менных интегрирования и1, ..., ип К переменным р, ол, ..., Ян-1. 


КОИ прероразования в силу соотношений ир=рар/ Ул, и 
аТа = а--... -- ап ==1| равен 


%1 О 
— — 0 фбое 0 
ИМ. УЛ, 
Со О 
— © 0 — с... 0 
УЛ. ИЛ, | (—-Г7+1 о" -т 
Е ЪУ———=_—=. 
[о ы бп УЛ, оо А 
ве. 0 0 ЕВ 2 ИИ 
УЛ. -1 г ИА 
п р оно 0 ЯИп—10 


Ул, и ИЛ ИА 


2 УЛ представляет собой диагональную матрицу с элементами 
ИЛ, ...уУ ИЛ, 
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А так как иТАи = раТаф = р, то наш интеграл принимает вид 


в | В ).- .} Е 


р" <у | +... +42 < 
Интеграл по Йеременным 0%, :.., @„_1 представляет собой постоян- 
ную величину с. Поэтому 
| У 
Вэ (у) =с \ р (р°) р"-* ар. 
0 


Дифференцируя эту формулу по и, находим плотность величины У: 


№ (= 2 уз рЫтЦ. 


Постоянная с определяется из условия Р. (°) =1. 
‚ В частном случае нормально распределенного вектора Х 


хГСх 
р (хТСх) = ИЕ СЕ. * 


и полученная формула принимает вид 


о. ВЕ 2 
п. и у? а ее. (11) 
2 ее 
2 г(>) 


Это распределение, часто встречающееся в математической статис- 
тике, называется )?-распределением, так как -величина с таким рас- 
пределением в статистике называется хи-квадрат. Натуральное чис- 
ло п в (11) называется числом степеней свободы. Сравнение (11) 
с (2.15) показывает, что х?-распределенйе представляет собой *)-рас- 
пределение с параметрами А = 1/2, и = (п/2) —1. 

Пример 11. Распределение случайных величин Х и У опре- 
деляется формулой 


Рь (У) == Ри (У) = 


[2 
Вх 9 941910910, 


где д (К — произвольная функция (которая может содержать б-функ- 
ции). Найти распределение отношения 2 =У/Х. 
Подставив данное выражение На (х, и) в (10), получим 


1 Ф КГ 
И а 
==” о ° (х(1--2)) 4х. 
0 | 
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Замена переменных и=х (1-2) дает 
| 1. Е+1 Е 
, РИ: ме ееаыые | 
в(д=2* (1+9 * 12} и* ада. 
0 


Последний интеграл представляет собой постоянную величину. Его 
можно вычислить из условия нормировки (равенства интеграла от 
плотности единице). В результате получаем 


| 
Е аа 


тт И (1+2) *1(2). (12) 
Г | г | 
ое | 
Подчеркнем, что это распределение не зависит от вида функции 4 (#). 
Таким образом, при любой функции 49(Г) в выражении плотности 


| (х, И) распределение отношения 2=У/Х определяется плот- 
ностью (12). 


Положив, в частности, 4 (В =се-й/? при соответствующем выборе 
постоянной с, получаем следующий результат: плотность отноше- 
ния двух независимых случайных величин Х и У, имеющих у?-рас- 
пределения с Е и [{ степенями свободы соответственно, определяется 


формулой (12). 

Пример 12. Распределение п-мерного случайного вектора Х 
имеет шаровую симметрию, {; (х) ==р (хТх). Найти распределение слу- 
чайной величины 


ых И х=- У» (13) 
ХТХ —пХ? п 
‚ По формуле (9) находим 


Е» (1) = | р (Та) ах, 
А 


где множество ДА; определяется формулой 


Выполним такое ортогональное преобразование вектора х, при ко- 


тором величина х Уп переходит в первую координату и! вектора и. 
Для этого достаточно, чтобы все элементы первой строки матрицы 
преобразования А были равны ип-!/2. Тогда, имея в виду, что 
АТ=А-1, | А|=1|, получим 


Ез (1) = \ р (уТу) ду. 
п- 1 | 
у — < 
и УТу- у 
Положив уИ=ра, где о и @ имеют тот же смысл, что и в примере 10, 


и имея в виду, что якобиан преобразования в данном случае равен 
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(—1)7+1 о"-1/а,, получим 
г. (Иа |...) аи... ЧН —1 


1 И <: 


где для краткости положено 


с= | р"-1р (р) ар. 
0 


_Выразив в явной форме пределы интегрирования по переменным 
о, вооу Яв- 1, получим 


| | | [#02 ке а —1 | 
У > 


—— р р о ... — М1 
те п-1 2 о +... +1 < 1-01 
1 2 
1-1 й 


Интегрирование по @›, ..., @и-1 производится по (п—2)-мер- 


ному шару радиуса у |—@1, объем которого пропорционален 
(1—01)"`”. При этом подынтегральная функция в центре шара 
равна (1—0) “”. Поэтому интуитивно ясно, что интеграл по пере- 
менным @2, ..., @и_1 пропорционален (1— о)“ - %/?. Чтобы строго 
доказать это, достаточно ввести новые переменные интегрирования 


- о | 2 
В.=а»/И 1—0, ча обоего Е Тогда, объединив по- 
стоянный интеграл по переменным В., ..., Ви-1 с постоянным мно- 
жителем с и обозначив новую постоянную буквой а, получим 


п-3 


2 2. 
Е. (Ю=а. \ (11—01) ? ао. 
—- 
- 1 у д > < 
Наконец, вводя новую переменную интегрирования Т=а 


— би ИУ (и—1/(—а9), приведем полученную формулу к виду 
Е 


Е. (=а | (1+ я а 


5 


‘ 


Дифференцируя эту формулу, находим плотность величины Т: 
{2 \-п/2 
вое (1+1) ”", 


Постоянная а легко определяется из условия Ро (®) =1. Для вычис- 
ления интеграла достаточно сделать замену переменных {ф = 


=ИУИп—1Т и принять во внимание, что Г (1/2) = Ил. Тогда 
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РР Е ния 


получим 


„Ра =5-1 (0 = 


в) ы 
Уп не ттт 09 


Это распределение, часто встречающееся в математической статис- 
тике, называется распределением Стьюдента или, короче, Т-распре- 
делением. Величина Т, определяемая формулой (13), называется 
стьюдентовым отношением *). Число К=п— | называется числом 
степеней свободы [19, 115]. 

Полезно отметить, что распределение стьюдентова отношения ТГ 
не зависит от функции р(и). Для любого случайного вектора Х, 
распределение которого обладает шаровой симметрией, случайная 
величина Т имеет Т-распределение (14). 

Пример 13. В условиях примера 12 найти совместное распре- 


деление случайных величин И=Х и $=хХТХ—пХ?, 
По формуле (9) находим 


Ро (и, $) = ` р (хГх) ах. 
х<и 
ХТ пд? < $ 


Выполнив ортогональное преобразование предыдущего примера, по- 
лучим 
цуп 
Бь(и, = (аи |... | РСТ 49»... Чу, 
_ < у+.. +11 < 


| ь - 02 г 
После замены переменных И =0Во, ..., Ив=оВи, В2-—...-РВи=1, 
так же как в предыдущем примере, получим | 


иУя Уз 
Рис \ у ртр (ур?) ар, 
` — © | 


где с определяется из условия Ро (%, ©) =1. 

Доказать, что при любой функции р (9) случайные величины И 
и 5 не коррелированы и что они независимы тегда и только тогда, 
когда р (°) = (лр)-"/? е-°/?В, = | 

Пример 14. Показать, что если совместное распределение 
п-мерного вектора Х и т-мерного вектора У обладает шаровой сим- 
метрией в (п-- т)-мерном пространстве, то случайная величина 


и и р. 
= и: И. (15) 


* 


*) Стьюдент (бет!) — псевдоним английского ученого Госсета 
(\. $. Цо55ей). 
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где 
| т 
= 1\\ = | 
п т 
ры! 1—1 
имеет Г-распределение с п т—2 степенями свободы: 


г") и. 
г 1+) ри т—9. = (16) 


ут (3) 


Пример 15. Пусть Х — случайная пх т-матрица, т< п, Х — 
матрица-строка, элементами которой служат средние арифметические 
элементов соответствующих он матрицы ДХ: 


$ (2) = 


п. 
— | 
ре оХарь Фаны) 
9 = 
Случайная величина 
т=Ит(и—1 Х5-—ХТ, —$=ХТХ—пХТХ, (17) 


называется обобщенным стьюдентовым отношением. Для любой слу- 
чайной матрицы Х, плотность которой определяется формулой 


п (=рР(Ы хСх"), _ (18) 


где р(и)— любая функция (конечно, удовлетворяющая условию, 
чтобы функция [ (х) была плотностью, возможно содержащей 6-функ- 
ции), С — положительно определенная симметричная матрица, а Г А— 
след матрицы 4, случайная величина Т имеет плотность 


п 
эт (5) и. 
-\2 аа и 2 


В частном случае при` т=!| это распределение совпадает с распре- 
делением абсолютной величины стьюдентова отношения (13). 

Пример 16. В условиях предыдущего примера найти совмест- 
ное распределение случайного вектора (матрицы-строки) Х и слу- 
чайной матрицы $5. Показать, что они не коррелированы при любой 
функции р(и) и что они независимы тогда и только тогда, когда. 
р (и =У Слет ем. 

Пример 17. Пусть Х: и Х, — случайные матрицы и: Хт ип›Хт 
соответственно, Х1 и Х›— матрицы-строки, элемещрами которых служат 
средние арифметические тов соответствующих столбцов матриц 
Х: и \,, Зе ХЕ ХЬ-НХЕХ, (Е =1, 2), Н=5,--52. Показать, что 

т 
если распределение блочной (п. - п. )х т: матрицы Х, хт= [1 хГ | 


186 


бп-1, т (®) = 


(19) 


спределяется формулой `(18), то случайная величина 


пп. (ип. — 2) 
п1--П> 


0 = 5 5 а.) (20) 
имеет плотность (19), где‘ п =. п.— 1. | 
Пример 18. Если в условиях примера 15 р(и)= 
= У|С "/(2л)”"т г-\!*, а С=К-\1, то плотность матрицы $ опре- 
деляется формулой 
п-1 п-т 


ит (8) = сыт (2"| Кро? |5? ее? (21) 


в области положительно определенных матриц $ пространства квад- 
ратных матриц порядка т и равна нулю вне этой области. Через 
|К| и |$] в формуле (21) обозначены соответственно определители 
матриц К и $, а 
| 
т(т 


па | п 2 и | 
пл @% г( гг ("5") Г ("5 


Распределение, определяемое плотностью (21), называется рас- 
пределением Уишарта. Оно играет большую роль в математической 
статистике [104, 105]. 

Пример 19..Если в условиях о 15 $5’ = _ХТХ, то отно- 


Спт же 


шение определителей матриц $ и 5’, И=|5$|/]5'’|, имеет плотность 
п \ 
| "(5 с а 22 
ттт) (=) (1)1(1—9). (22) 
| \ 2. 2) | 
Это В-распределение с параметрами рв=(п—т)/2 и да=т/2 (при- 
мер 2.9). 


Пример 20. Функция распределения РЁ, (х) скалярной слу- 
чайной величины Х непрерывна. Найти ` распределение случайной 
величины У =Р, (Х). 

При любом УЕ (0, 1] событие У=Р, (Х) <у происходит тогда и 


только тогда, когда Х < х=Е," (и). Поэтому 


Р.Е, (ЕГ ))= у при уЕ(0, Ц. 


При у=< 0 событие У = _ < и невозможно, а при и > 1 — досто-‹ 
верно., Поэтому Ро (у) =0 при у<0и Ро (и) =1 при и > 1. Таким 
образом, при любой непрерывной функции распределения РК, (х) слу- 
чайная величина У = т (Х) распределена равномерно на интервале 
[0, 1]. 
Предлагаем читателю самостоятельно найти распределение слу- 
чайной величины У=Р, (Х) в случае, когда функция распределения 
Е, (х) имеет разрывы. Найти плотность величины Х в этом случае. 


2.3. Приведение случайного вектора к вектору с не- 
зависимыми координатами. Рассмотрим п-мерный слу- 
чайный вектор Х ={Х,, ..., Х/}, у которого непрерывны 
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- функция - распределения Р,(х,) первой координаты и 
условные функции распределения  Р.(х,|х,), ... 
..., Ва (Хи | Х1, --., Хи-а). Этому условию, в частности, 
удовлетворяет любой случайный вектор, плотность кото- 
рого не содержит 6-функций. Во многих задачах теории’ 
вероятностей и ее приложений оказывается полезным пре- 
образовать случайный вектор так, чтобы в результате 
получить вектор с независимыми координатами. 

На основании результатов п. 4.4.5 эта задача легко 
решается для нормально распределенных векторов при- 
менением канонических разложений, в частности разло- 
жения по собственным векторам. | 

№ Для преобразования случайного вектора с произ- 
вольным распределением, 'удовлетворяющим поставлен-` 
ным условиям, можно воспользоваться результатом при- 
мера 20. Введем случайные величины 


у, =Р, (Х,), У, =, (Х,[Х,), ф 9 
ИЕР: Дон аа 0) 


так каков. у: Иен, Рае 
сматриваемые как функции первого аргумента, представ- 
ляют собой непрерывные функции распределения, то по 
доказанному в примере 20 случайная величина `У, и все 
последующие случайные величины У,, независимо от зна- 
чений '/., ..., /,-1 [0,1] предыдущих величин Ут, ... 
-.., У: (Е =2, ..., И), распределены равномерно на ин- 
тервале [0, 1]. Таким образом, условное распределение 
каждой величины Г’, не зависит от значений и, ..., И, 
предшествующих величин. Следовательно, совместная 
плотность величин У,, ..., У, равна произведению их 
плотностей. Отсюда по доказанному в п. 4.2.3 вытекает, 
что случайные величины У!, ..., У, независимы. < 

Итак, формулы (23) решают поставленную задачу — 
определяют такое преобразование случайного вектора Х, 
в результате которого получается вектор У с независи- 
мыми и вдобавок равномерно распределенными на интер- 
вале [0,1] координатами (отсюда следует, что вектор У 
равномерно распределен в п-мерном кубе со сторонами 
[0, 1] по всем осям). Обратное преобразование, опреде- 
ляемое рекуррентными формулами 


Хх, = РГ (Т,), Хх, =. (У,[Х,), ве 

- од РИ а. 3 300 
дает выражение координат вектора Х через независимые 
188 | | 


равномерно распределенные на интервале [0, 1] случай- 
ные величины У\, ..., У. 

Теперь мы можем найти такое преобразование слу- 
чайного вектора Х, в результате которого получается 
случайный вектор Д с независимыми координатами, 
каждая из которых 
имеет наперед задан- 
ную функцию распреде- 
ления. 

> Пусть С; (21)... „ЯСИН, 
.... О@,(2„)—заданные | | 
строго возрастающие 
‘функции распределения. - 
Определим координаты 
вектора Д уравнениями 


<< < 


Ч: (7 
вт. в) п) (25) Рис. 20. 
и 1 
где У, `..., У,-— случайные величины, определямые 
формулами (23). Так как функции Ц@., ..., С, по усло- 


вию строго возрастающие, то формулы (25) устанавли- 
вают взаимно однозначное соответствие между величина- 
ми У,, ..., У», с одной стороны, и величинами Д., ... 
..., 0, С другой. Очевидно, что случайные величины 
0; ..., (,„ независимы как функции независимых слу- 


чайных величин У., ..., У, (1. 4.2.5), и функцией рас- 
пределения величины &, служит СЦ, (2,). Действительно, 


Р(2,<2г,)=Р((,(2,) < Ц, (2,)) = 
= Р(У, < С, (2,)) =С»(2,). 


Таким образом, формулы (23) и (25) определяют 
преобразование случайного вектора Х, в результате 
которого получается вектор 2 с независимыми коорди- 
натами 0., ..., („, имеющими заданные функции рас- 
пределения С, (2,), ..., @„(2„). Обратное преобразование, 
определяемое рекуррентными формулами 


Е О Хх, = Р.' (С, (2,) | Х}}, | | 
о О: РСН СВ р) 

выражает вектор Х через вектор 2 с независимыми коор- 

динатами, имеющими заданные функции распределения. 


На рис. 20 показано соответствие между значениями х, 
и г, случайных величин |, и 2,. 
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Заметим, что в случае, когда функция распределения 
одной из величин АХ, ..., А, сохраняет постоянное 
значение на каком-нибудь интервале, взаимная однознач- 
ность соответствия между векторами Х и У и векторами 
Х и { нарушается. В этом случае формулы (24) и (25) 
не определяют значения х вектора Х при некоторых 
значениях у вектора У. Однако это не существенно, 
потому что каждый интервал постоянства функции рас- 
пределения представляет собой множество нулевой веро- 
ятности, с которым можно не считаться. Впрочем, можно 
принять, что в данном случае формулы (24) и (25) для 
соответствующих у определяют весь интервал постоянства 
функции распределения. 


$ 3. Плотность функции случайного аргумента 


3.1. Метод сравнения вероятностей. В $ 2 мы научи- 
лись находить функцию распределения функции случай- 
ного аргумента, а затем дифференцированием функции . 
распределения определять плотность, если, конечно, она 
существует. Однако часто целесообразно непосредственно 
находить ‚плотность функции случайной величины по дан- 
ной плотности величины-аргумента. При этом на функ- 
цию Фф(х) придется наложить дополнительные ограниче- 
ния, одной ее измеримости в общем случае недостаточно. 
Мы будем предполагать, что функция ф(х) имеет кусочно 
непрерывные первые производные по всем координатам 
вектора х и не постоянна ни на каком множестве зна- 
чений аргумента х, имеющем отличную от нуля вероят- 
НОСТЬ. 

№ Согласно общему принципу п. 2.1 вероятность по- 
падания случайной величины У=ф(Х) на любое мно- 
жество В равна вероятности попадания величины Х на 
прообраз множества В, Аз={х: Ф(х)ЕВ!. Выразив эту 
вероятность через плотность ]}, (х) случайной величины Х, 
получим | | 


РЕВ) = Р(Ф(ХЕВ)=Р(ХЕАЬ- (дах. (7) 


Ав 
С другой стороны, 


РЕВ = (4 = _ (28) 


_ 


где [, (и) —неизвестная плотность случайной величины У. 
Сравнение формул (27) и (28) показывает, что для опре- 
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деления {,(/) достаточно заменой переменной преобра-_ 
зовать интеграл (27) в интеграл, распространенный на. 
область В. | № 

Предположим сначала, что векторы Х и У=фФ(Х). 
имеют одну и ту же размерность п и уравнение у=ф(х) 
при любом у имеет единственное решение х в области 
возможных значений случайной величины Х (в области, 
где плотность |: (х) отлична от нуля). Для этого необ- 
ходимо и достаточно, чтобы якобиан координат вектора 


а) 5) 
Рис. 21. 


ф(х) по координатам вектора х сохранял знак в области, 
где |. (х)>0, и обращался в нуль только в изолиро- 
ванных точках этой области. На рис. 21 дана иллюстра- 
ция для случая скалярных Х и У. Сделав в формуле (27) 
замену переменных и=ф(х), х=ф-\ (у) и приняв во вни- 
мание, что область интегрирования Аз перейдет при этом 
в В, будем иметь — 


РЕВ) = | (6-1, (29) 


где / (у) —якобиан координат вектора х=ф-* (и) по коор- 
динатам вектора и: 


дет" ду" 

е ты ди ‘`° ди, 
ОР. | о 

д (и, нага из) дфя" дфл" 

| ду: ^^” дун 


(производная функции ф-*(у) в случае скалярных Х 
и У). Сравнив (29) с (28) и приняв во внимание, что обе 
эти формулы справедливы для любой области В, полу- 
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чаем. о выражение для плотности случайной 
величины У=ф(Х): 


НЕО 81 


Предположим теперь, что размерность т вектора 
У=ф(Х) меньше размерности п вектора Х, т<п, и 
уравнение у=ф(х) при всех у имеет единственное реше- 
ние относительно каких-нибудь т координат вектора х 
в области, где [,(х)>0. Обозначим через х’ вектор, - 
образованный этими’ 1 координатами, через х” вектор, 
образованный п — т оставшимися координатами вектора х. 
Тогда наше уравнение перепишется в виде у= ОХ 
Пусть х’=ф-\ (у, х”) — решение этого уравнения относи- 
тельно х’. Сделав в (27) замену переменных х' = ф`! (у, х" 
получим совершенно так же, как и в предыдущем случае, 


[9.2] 


Р(УЕВ) = \ 4 (ф-т (и, х), ху (а ах", (39) 


где /(у, х’)—якобиан координат вектора х’=ф-! (у, х" 
по координатам вектора и: | 


ры 
Пе . (33) 


Сравнив (32) с (28), находим плотность случайной вели- 
чины У: 
[=] 


= (6-19, и), и), ии. 4 (34) 


6 


Эту формулу можно получить также другим путем. 
Дополнив вектор У до п-мерного вектора, добавив к нему 
координаты Уи. =Хича, ..., У„=А,, приведем задачу 
к предыдущему случаю. Определив по формуле (31) 
совместную плотность векторов У и Х" = а ь 
можем после этого найти плотность вектора У по фор- 
муле (4.9) интегрированием по х” по области всех воз- 
можных значений случайного вектора Х”. 

‚ Если векторы Х и У=фФ(Х) имеют одинаковую раз- 
мерность п, а уравнение у=ф(х) при каждом у имеет 
конечное или счетное множество решений относительно х 
в области возможных значений вектора Х, то область 
интегрирования Аз следует разбить на части, в каждой 
из которых содержится не больше одного решения этого 
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уравнения, а затем выполнить соответствующую замену 
переменных в каждом из полученных интегралов. Пре- 
доставляем читателю самостоятельно найти плотность 
случайной величины У=ф(Х) таким путем. Мы решим 
здесь эту задачу более удобным для данного случая 
методом сравнения элементов вероятности. 

3.2. Метод сравнения элементов вероятности; Метод 
сравнения элементов вероятности основан на выборе 


ты ра. 


27; ия 


в качестве множества В бесконечно малого элемента ау 
пространства значений случайной величины У и нахож- 
дении вероятности попадания величины У=фФ(Х) в этот 
элемент. Множитель при Ау будет в этом случае иско- 
мой плотностью случайной величины У =Ф(Х). 

№ Предположим, что векторы Хи У имеют одина- 
ковую размерность й и уравнение у=ф(х) при каждом 
у имеет множество решений ф;' (у), ГЕ Г(иу), в области 
возможных значений величины Х (Т.е. в области, где 
Ё, (х) = 0). На рис. 22 дана иллюстрация для случая 
скалярных величин Х и У (на: рис. 22, как мы видим, 
Г(у) = 1, 2, 3, 4, 5, а Г(у’) =11, 2, 5}. В этом случае 
элемент вероятности. }.(у)4у равен сумме элементов ве- 
роятности, соответствующих всем элементам @х;, ГЕ Г(и), 
пространства значений величины Х, объединение которых 
представляет собой о элемента ау (рис. 22): 


(у ==. ПС и 


Подставив сюда выражения х; через у, х;= г" (и), и 
выражения элементов 4х; через ау, ах; = |. (и) | ау, где 
1, (у) —якобиан координат вектора х;=фг. (у) по коор- 
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динатам вектора и (производная функции ФР" (9) в слу- 
чае скалярных Х и У), получим после сокращения на ау 


ру- Х Ле < (35) 


Метод сравнения элементов вероятности представляет 
собой сокращенную форму следующей последовательности _ 
вполне строгих операций: 1) вычисление вероятности 
попадания величины У =ф(Х) в бесконечно малый объем 
Ду ее пространства значений, содержащий данную точ- 
ку у, с помощью интегральной теоремы о среднем зна- 
чении; 2) вычисление таким же путем вероятности по- 
падания величины Х в объединение элементарных объ- 
емов Ах;, ГЕ[(у), ее пространства значений, представ- 
ляющее собой прообраз Ду, 


(] ПЕ = ф-* (Ау; 
ге 1 (и) 
3) приравнивание полученных таким путем вероятностей; 
4) нахождение выражений элементарных объемов Ах; 
через Лу; 5) деление полученного равенства на` Лу: 
6) переход к пределу, когда элементарный объем Ау 
стягивается в точку у, с попутным доказательством су- 
ществования предела. 
}»> В случае, когда вектор У =Фф(Х) имеет размерность 
т «п, а уравнение у=ф(х) не имеет единственного 
решения относительно т координат вектора х ни при 
каком выборе этих координат, следует дополнить вектор 
У до п-мерного добавлением координат Уи. = Хуа, . 
..., У,=А, вычислить плотность полученного п-мер- 
ного вектора по формуле (35), а затем интегрированием 
по вектору и={уи.1, ..., И,| найти плотность величи- 
ны У. В результате получим формулу 


ьу=( У поно, в, шк ии, (36) 


где ф;' (и, и), ГЕГ (у, и), — решения уравнения и==Ф (х) 
относительно вектора х '={х., ..., Хи} В области воз- 
можных значений величины Х, а У; (у, и)—якобиан ко- 
ординат вектора х;= фт? (у, и) по координатам векто- 
ра у. < 

»> Рассмотрим, наконец, случай, когда вектор У = Ф(Х) 
имеет. размерность т > п. В этом случае вектор У можно . 
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представить как совокупность й-мерного вектора У’==ф.(Х) 
и (т—п)-мерного вектора У” =ф,(Х). При этом разбие- 
нии вектора У (его замене проекциями на два взаимно 
дополнительных подпространства) следует ВКЛЮЧИТЬ В у’ 
такие координаты вектора У, чтобы уравнение и" == ф, (х) 
имело единственное решение х в области возможных зна- 
чений величины Х, если, конечно, это возможно при каком- 
нибудь выборе п из т координат вектора У. Если —- 
уравнение имеет единственное решение х=фи" (и’), 
плотность случайного вектора У’ можно вычислить по 
формуле (31). Что. касается вектора У”, то, подставив 
в У’=ф,(Х) выражение Х==Ф,;"(У’), получим У” = 

= ф, (фг* (У’)). Таким образом, У” представляет собой 
вполне определенную функцию случайной величины У’, 
и, следовательно, условная плотность У” при данном 
значении у’ величины У’ представляет собой д-функцию 
6 (и — ф. (фу: (и’)))..На основании теоремы умножения 
плотностей (4.23) плотность составного я век- 
тора У выразится в этом случае формулой 


Ь У =т (ФГ (911 4) 16 (у —Ф, (ФГ). 4 т) 


‘® Если уравнение у’=ф,(х) при любом выборе п из 
т координат вектора у имеет множество решений фиг (и’), 
[Е1(и’), в области возможных значений величины Х, 
то вектор У” при данном значении и’ вектора У’ имеет 
дискретное множество возможных значений ф, (фр (и’)), 
ГЕ1(и’), вероятности которых определяются формулой 


ода 141) 


р; == в 
> Ноа > нев 9) 
Г (и’) КЕГ (у’) 


КЕ 
Следовательно, условная плотность вектора У” при дан- 
ном значении у’ вектора У’ согласно (2.24) равна 


Я л и 6 ("ФФ (и) 
У НЕ (и): | 
1Е1 (и’) 


Умножив эту условную плотность величины У” на плот- 
ность величины У’, вычисленную по формуле (35), най- 
дем плотность случайного о у: 


Г, (у) = вр ‚( (фиг (и’)) 17; (и’) 16 (У —Ф» (ФЕ (и’))).(38) 
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Пример 21. Найти распределение 5-й степени случайной ве- 
личины Х, У=Х$ (5— натуральное число). 


При нечетном $ уравнение и=х° имеет единственное действи- 


тельное решение х=и!/$ при любом у. Поэтому плотность величины 
У = Х* можно найти по формуле (31)? 


1 
пе 


При четном 5 уравнение у=х° имеет два действительных решения 


х= и /° при у=0 и ни одного при у< 0. Поэтому для нахож- 
дения плотности величины У == Х* придется применить {ормулу (35). 
В результате получим 

1 1 1 


ее ев = 


= |1 и ен -и° у 1 (и). 


В частном случае величины Х с плотностью 


| ИЕ КОВАНИ хп-1 е_ р: 


| п 
2 = 
2 г(5) 


‚и У=Х? полученная формула дает 


1 у 
ВБы=-——® у? в 


22 г (> 
2, 
Таким образом, в этом случае величина У=\? имеет у?-распре- 
деление (11). Поэтому распределение величины Х с такой плотно- 
стью [1 (х) называется х-рас- 
пределением. 

Пример 22. Найти плот- 
ность случайной величины 
У = с0$ Х при равномерном рас- 
пределении величины Х в ин- 
тервале (—л, л). 

В данном случае при каж- 
дом значении у, |И|<1, 06б- 
ратная функция имеет две вет- 


ви: Ф (у) =агссоз и, фа" (у) = 
= — агссо$ и (рис.23). Формула 
(35) дает 


| _таЫ-ир 
Рис. 23. ыо ПИТ у 


Распределение вероятностей, определяемое этой формулой, называется 

распределением арксинуса. Оно характерно для ошибок угломерного 

прибора с эксцентрично закрепленным по отношению к оси вращения 

визирного устройства лимбом (диском, на котором нанесена шкала). 
Пример 23. Найти плотность функции 


-У=АХ*—АХ 
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случайной величины Х, равномерно распределенной в интервале 
(0, а), Е <а. 
В данном случае обратная функция имеет две ветви 


ЕЕ. Го во 
Фа у Е ВИ. 
при — ^*/4 <у<ди одну только первую ветвь при 0 <у<а а? — Ра 
(рис. 24). Поэтому в правой части формулы (35) будет два слагае- 
мых при — ^?/4 < у <0и одно первое слагаемое при 0 < у < 4*—^№а 


В результате получим 


( Е ИЯ при. _ № ие О 

а ИЕ Ау 4 : 
Ё» (у) = ] ] 

Ё—— При 0 < у < а? — ка. 

С аил-—-4и | 


`Вне интервала (— А?/4, а? — ка) ро (у) =0. | 
Пример 24.`В условиях примера 11 найти распределение 
случайной величины 


Так как уравнение }=^2// при ме единственное решение 
2=1}/, то плотность &(}) величины Р можно определить по фор- 
муле (31). Подставив в нее вместо р. (х) выражение (12) плотности 
[> (2) величины 2, получим 


т Г) и аАя 
вт = (+) ЕР '++/) — 10-89 
2 2 


Это распределение тоже часто встречается в математической статис- 
тике и называется Ё-распределением с Ги Е степенями ‘свободы. 
Распределение величины (= 

= |п 2/2 в частном случае, ког- 
да Х и У— независимые слу- 
чайные величины, имеющие х?- 
распределение соответственно 
с Ки / степенями свободы, бы- 
ло впервые найдено Фишером 
[112, 113]. Распределение ве- 
личины КЁ при тех же условиях 
получено Снедекором [99]. 

При 9 (#)=се`*/? при соот- 
ветствующем выборе с из полу- 
ченного результата следует, что Рис. 24. 
отношение ‚бвих независимых у 
величин с Х?-распределением, деленных на соответствующие числа 
степеней свободы, имеет Е-распределение с этими числами степеней 
свободы. Этим и объясняется широкое распространение Р-распреде- 
ления. | 


% 
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Интересно отметить, что предельные случаи Ё-распределения 
при А = © и при [= < представляют собой у-распределения вели- 
чин Ри Ё-1 соответственно: 


1/2 2-1 п 
и -0=($)” разу", 
(А? {-*/2-1 в! 


В предельном случае при А ==1= ® Ро, = ([) = 9 (1—1). 


Пример 25. В условиях примера 15 случайная величина 


ИИ ыы" И Зое 
- т(п—1) т 


независимо от вида функции р(и) имеет Р-распределение сти 
п— т степенями свободы Г, п„_п 


Пример 26. Если величина Г имеет Г-распределение Дук (/), 
то величина И = (1--/Ё/^)-* имеет В-распределение с параметрами 
р=А/2, 9= 1/2 (пример 2.9), а величина М=Р (&/1-- 2)-1* имеет 
В-распределение с параметрами р = 1/2, 4=А/2. 

Отсюда следует, что если величина У имеет В-распределение с парз- 
метрами р, 4, то величина РЁ == (&/1) У (1—И)-* имеет ЁР-распределение 


р, к (1), а величина С =А (1 — У) ЛУ имеет Ё-распределение Рас: ор (п). 


Пользуясь этими соотношениями и соотношением между ЕиТ 
примера 25, можно вычислять функцию распределения и плотность 
для Б-распределения и обобщенного Т-распределения (19) с помощью 
программы ВОТК вычисления функции распределения и плотности 
для В-распределения [94]. 

Пример 27. Найти распределение полярных координат точки 
на плоскости А, ©, если известна плотность [1 (х, и) декартовых 
координат Х, У. | 

В данном случае 


В=Ф.(Х, = ИХЕЕУ, @=фь(Х, У) ао -, 


причем угол @ лежит в первой четверти при Х > 0, У > 0, во вто- 
рой при Х < 0, У >00, в третьей при Х <0, У <0и в четвертой 
при Х >0, У < 0. Уравнения г= Их -Ри?, 9 = агс4е (у/х) имеют 
единственное решение х=г со$ 9, у=г 5 0 при любых г>0, 
9Е[0, 2л). Поэтому 


| __|с0590 —гзт0|_ 
И зп 0 г с050 | | 
и формула (31) дает 


Ьь (г, 0) = А (/ соз 0, гп 0). _ 


Отсюда интегрированием по 9 или по г находим соответственно 
плотность {3 (г) радиуса-вектора Ю случайной точки и плотность 
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р (0) полярного угла 0: 


„ 


21 
[3 (г) =г\ Е (г со$ 0, гыпт 8) 49, 
0 
Ё (9) = \ г| (г соз 0, гп 90) аг. 
ая 


В частном случае распределения с круговой симметрией Е(х, и) = 
= А (х?-|- у?) и полученные формулы принимают вид 


[=] 


Бали (9), В) = (та. 


Таким образом, в случае круговой симметрии распределения на 
плоскости полярный угол о равномерно в интервале 
[0, 2л), и следовательно, {4 (9) =1/2л при 0Е(0, 2л). Впрочем, это 
ясно и из интуитивных соображений. 

В случае нормального распределения с круговой симметрией 


В (и) — @хр)-1е 122 и формула для [: (г) принимает вид 
в (= ет", 250% 


Это распределение называется распределением Рэлея. 

Аналогично в случае нормального распределения с шаровой 
симметрией в трехмерном пространстве получаем для радиуса-век- 
тора Ю распределение Максвел 


[з (г) = И2/мБ3г?е-"”/2В, г> 0. 


Если распределение на плоскости имеет круговую симметрию 

с центром, смещенным относительно начала координат, то, выбрав 

соответственно оси координат, будем иметь }- (х, и) =й ((х—а)?- у?) и 
2л 


Б (=: \ А (?—2аг соз 0 а?) 40, 
0 


[1 (0) = \ ГВ (г? — 2аг соз 9-1 а?) ах. 
0 


В частном случае нормального распределения й (и) = 
—= (2л0)- Ри формула для {з (г) принимает вид 
гена" аг 
Иа, рва 
| р ^ 5 со$ 9 
0 
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Интеграл в этой формуле не сводится к элементарным функциям. 
Его можно выразить через бесселеву функцию 


м л 2л 
—— | ри 60$ 0 16 — | ри 6059 
И - | 40 5 | е 49. 
К 0 0 
В результате получим 
На 2 
Г ито 
воре в (ТФ). (40) 


Распределение, определяемое этой формулой, называется нецентраль- 
ным распределением Рэлея. 

Пример 28. Найти плотность случайного вектора У = АХ--с, 
если известна плотность ]\ (Хх) вектора Х. 

В случае, когда векторы Х и У имеют одинаковую размерность 
пи ранг матрицы А равен п, уравнение у==Ах-- с имеет единст- 
венное решение х==А-! (у—с) и формула (31) дает 


[2 Е Ь (А-1 (у—0), 


где | А | определитель матрицы А. 
В частном случае нормального распределения вектора Х ($ 4.4). 


| | = \ 
А ехр А — 5 (х —тх) Ку (х—тх 
в (9= Ут“ (ий) КР пу 
и полученная формула дает 
| | - | 
> 
ЧИ 


хер" —с ‘ие А А иКРА-ту-е-— Ань) 


Это нормальное распределение, причем математическое ожидание 
вектора У РАВНО т, =Ат,у-с, а его ковариационная матрица равна 


К,=АК; АТ в полном соответствии с формулами (3.49) и (3.50). 

Предоставляем о самостоятельно рассмотреть ‘случай, 
когда размерность вектора ранг матрицы А равны т < п, слу- 
чай, когда. размерность о. У равна тж<ютп, а ранг матрицы 
А равен г< т, и случай, когда т > п. Доказать, что во всех этих 
случаях при нормальном распределении ], (х) распределение }. (и) 
тоже нормально (является вырожденным нормальным распределением 
при г < ти при т > п). 

Таким образом, случайные величины, полученные в результате 
любых линейных преобразований нормально распределенных случай- 
ных величин, распределены нормально. Этот важный результат 
имеет большое значение для теории вероятностей и ее применений. 
В частности, отсюда следует, что коэффициенты канонического раз- 
ложения нормально распределенного случайного вектора, в частно- 
сти его разложения. по собственным векторам, распределены нор- 
мально (имеют совместное нормальное распределение). А так как 
из некоррелированности координат нормально распределенного слу- 
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чайного вектора следует их независимость, То коэффициенты кано- 
нического разложения нормально распределенного случайного век- 
тора всегда независимы. 

Из результатов этого примера вытекает также следующее 
обобщение теоремы $ 4.4: проекции нормально распределенного слу- 
чайного вектора на любые подпространства распределены нормально. 
. Пример 29. Случайный вектор Х распределен нормально, 
причем ранг г его ковариационной матрицы К, меньше его раз- 
мерности п. Найти плотность вектора Х. : 

Мы знаем ($ 3.3), что в этом случае вектор Х имеет вырожден- 
ное нормальное распределение (4.62), которое полностью сосредото- 
чено на г-мерном подпространстве, сбразованном первыми г собст- 
‘венными векторами матрицы К», сдвинутом на вектор ту (если ту 
не принадлежит этому г-мерному подпространству). На основании 
результатов предыдущего примера распределение вектора Х можно 
выразить через распределение в этом подпространстве. 

Пусть Ф —матрица, столбны которой представляют собой, как 
ивпи. 4.4.6, ортонормированные собственные векторы Фф1, ..., Фи 
матрицы Кх. Эта матрица ортогональна, вследствие чего ее опреде- 
литель равен единице, |Ф|=1. На основании результатов преды- 
дущего примера случайные величины Ив= ФА (Х —т..) (&=1,...,г) 
независимы, имеют нулевые математические ожидания и дисперсии, 

авные соответственно г отличным от нуля собственным значениям 
1, ..., Ал Матрицы Ку. Поэтому распределение вектора Х® = Х— т, 
в г-мерном подпространстве, образованном собственными векторами 
<, ..., Ф;, Определяется плотностью 


1 ы|- 
: | тт ттистии инте 5. о 
| ИУ л)гА....А, ›|- ‚>. 


Случайные величины Ив Хо (Е =и-“1, ..., п) имеют нулевые 
математические ожидания и нулевые дисперсии, вследствие чего они 
с вероятностью |1 равны 0. Поэтому их плотности представляют 
собой 6-функции 0 (ик) (Е =г--1, ..., п). Следовательно, плотность 


Т я 
п-мерного случайного вектора И = [И!1...0И„]| определяется формулой 


[ Г 
ехр | > в 9 (игу1).:.0 (ил). 
") 


1. 


| 
7 и) тотал ое 


Это вырожденное нормальное распределение в пространстве значений 
случайного вектора Х, в котором за оси координат приняты направ- 
ления собственных -векторов матрицы К... Пользуясь формулой (31), 
находим плотность случайного вектора Х: 


| Е ехр м у АЕ и, х 
р У @л)/....^, 2 Дым й 


Х 6 (фа (х—т,))...6 (фи (х—т,)). (40 


Мы получили пр фогму вырожденного нормального распределе- 
ния, отличную от (4.62). 


201. 


| Предоставляем читателю самостоятельно показать, что В случае 
Г=-=п формула (41) совпадает с формулой (4.51), определяющей 
плотность п-мерного нормально распределенного вектора. 

Пример 30. Пусть Х и У— две случайные величины (скаляр- 
ные или векторные одной и той же размерности) с совместной 
плотностью }, (х, и). Найти плотность их суммы й=Х-У 

Так как уравнение 2г=х-Ру при любом 2 имеет единственное 
решение как. относительно х, так и относительно у, то можно вос- 
пользоваться формулой (34). В результате получим 


[= |=] 


д = } ло г-9щ= } пед = 9) 


В частном случае независимых слагаемых р (х, и) =а, (х) в. (уи 


ы0= \ афые-дж= \ во-уь фа. @) 


* 


Интегралы такого типа. называются сверткой функций 51 и 6. и 
обозначаются #\*6.. Таким образом, плотность суммы независимых 
случайных величин равна свертке плотностей слагаемых, [= 861*86.. 

Так как сумма неслучайных величин не может быть случайной 
величиной, а любая неслучайная величина имеет плотность, пред- 
ставляющую собой б-функцию, то из (43) следует, что свертка двух 
д-функций является д-функцией: 


© | | 
\ 8 (х—а) 6 (2--х—Бах=6(2—а-— 5). (44) 


— © 


Это свойство 0-функции можно также вывести предельным перехо- 
дом, с помощью которого б-функция определена в приложении 1. 

Из общего результата примера 28 следует, что свертка двух нор- 
о раепределений представляет собой нормальное распределе- 
ние. ‚Предлагаем читателю самостоятельно получить этот результат 
по ме (43). | 

Пример 31. Найти плотность суммы двух независимых слу- 
чайных величин, имеющих у?-распределения с Ки [ степенями сво- 
боды соответственно (пример 10, ‘формула (11)). 

_В данном случае 


| ь | , 
| - а ны ов. 
ва (х) = ха е ? Е во (и) = 1(у) Е ВТ 


г ^ г (.^) 
2 г(5) "Г (3). 
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и формула (43) дает 


1 ыы ая м 
РА : $ 
ро (2—6 “ “ бя 
м а 
2 | 5)г (>) 0 | 
Г. ПОЗЕ © В: 
Е (2) 2 е * | аи аи 


Последний интеграл представляет ‘собой так называемую бета- 
функцию: 
| 


| иртилим- аи = В ото. (45) 
0 . | 


Пользуясь этой формулой, получаем 


Г. 
1(2 оо вает 
р Е РНЕ 2 ы [2 ы . 


РЕН) 


Таким образом, сумма независимых случайных величин, распределен- 
ных по закону )*, также имеет у? -распределение с числом степеней 
свободы, равным сумме чисел степеней свободы слагаемых. 

Пример 32. Найти распределение суммы 2 ‘независимых слу- 
чайных величин Х и У, распределенных по закону Пуассона с пара- 
метрами Л и ц соответственно. 

В данном случае 


сы -. Абв. в: = У тетиву п) 
й=0 


в=0 


и формула (43) дает 


[з (2) = У 1 зы гей | визе 


Собрав вместе слагаемые, соответствующие одинаковым значениям 
суммы А А=т, имея в _ что 


Мл. А-Е и)” 
тя я не ВИ ИИ. 


Е+й=т 
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получим 


во У ПР бит) 


т=0 


Таким образом, сумма независимых случайных величин, распределен- 
ных по закону Пуассона, также распределена по закону Пуассона 
с параметром, равным сумме параметров распределений слагаемых. 
| Пример 33. Вектор Х имеет нормальное распределение с ша- 
ровой симметрией в п-мерном пространстве, причем дисперсии всех 
координат вектора Х равны 1. Найти распределенне случайной вели- 
чины У=_ХТАХ, где А — неотрицательно определенная симметрич- 
ная ие ранга г < п, обладающая свойством идемпотентности 
А — А. у 
Матрица А представляет собой матрицу ортогонального проекти- 
рования на некоторое г-мерное подпространство. -А так как проек- 
ция нормально распределенного вектора на любое подпространство 
распределена нормально, причем шаровая симметрия распределения 
при ортогональном проектировании сохраняется, то на основании 
результатов примера 10 интуитивно ясно, что распределение вели- 
чины У представляет собой у?-распределение с г степенями свсбоды. 
Чтсбы строго доказать это, приведем матрицу А ортогональным пре-. 
‚ образованием к диагональной. форме. Так как ранг магрицы А равен 
г < п, то п—г ссбственных значений матрицы А будут равны нулю, 


Ат+1=... =Аи=0. Пусть ф:,..., фи— ортонормированные собствен- 
ные векторы матрицы А, Ф—пжЖхг-матрица, столбцами которой слу- 
жат собственные векторы Фф1,..., Фф,, соответствующие отличным от 
нуля собственным значениям Л,,..., А;, Фи,—пж(п—г)-матрица, 


столбцами которой служат собственные векторы Ф„+1,..., Фи, СсООТ- 
ветствующие нулевому собственному значению, Л — диагональная 
матрица порядка г с элементами Л:,...,А;. Тогда можем написать 


Аф==-Фл, АФу-=0. 


Так как по условию А*-=А, то на основании первого из этих соот- 
ношений А?Ф = ФА, ас другой стороны, А?Ф =- А (АФ) = АФЛ =ФА?. 
Таким образом, Л-==А?, что для диагональной матрицы возможно, 
только если ЛА представляет собой единичную матрицу порядка г, 
Л=/;. Таким образом, АФ =Ф и матрица А выражается формулой 


А = [Ф Фо] |. о —=ФФТ. 


ФТ 
Фо 


Рассмотрим теперь случайный вектор И =ФТХ. Его ковариа- 
ционная матрица на основании (3.50) равна К„=ФТК ‚Ф =ФТФ, 
так как по условиям задачи К х=/. Но ФТФ == [, в силу ортонор- 
мальности собственных векторов фл, ..., Фи. Поэтому К „=/,. Наконец, 


ОТК = ИТИ = ХТФФТХ = ХТАХ =У. 


Таким образом, интересующая нас случайная величина У представ- 
ляет собой квадратичную форму, которая с коэффициентом 1/2 стоит 
в показателе степени в выражении нормальной плотности г-мерного 
вектора И. Следовательно, по доказанному в примере 10 величина У 
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имеет у?-распределение с г степенями свободы: 


В о" 


Доказать, что и в более общем случае, когда Х имеет распре- 
деление № (0, К,) (может быть, и вырожденное), случайная вели- 
чина У =ХТАХ имеет х?-распределение с г степенями свободы, если 


матрица В=К\/ЗАКИ? представляет собой матрицу ортогонального’ 


проектирования на некоторое г-мерное подпространство (т. е. имеет 
ранг г и обладает свойством идемпотентности В* = В). 


Пример 34. В условиях предыдущего примера найти распре- 
ие 
деление случайной величины У = ХТХ —пХ?, Х = (1/п) У Хр. 
=] 


В данном случае 


п у п 
о |1 
у=>, №-= У, Х»Х.=ХТАХ, 
р= р, 9=1 
где 7 | 
А а мо 
п п°** п 
ее езаа 
А = п вп. т|. 
ыы 
(п п’ В. | 


Эта матрица имеет ранг г=я—1, и А*= А. Следовательно, вели- 
чина У, согласно результатам примера 33, имеет у?-распределение 
сг=и— | степенями свободы: 


не - п 1 
о г ( - } 


Пример 35. Пользуясь формулами (31), (34) — (38), показать, 
что формула (3.6) ‘дает для математического ожидания функции 
У=Фф(Х) случайной величины Х то же значение, что и формула (3.3): 


„. 6 |® =) 


му мох = (ыыы = (и, Фч. 


— © — 0 


Пример 36. С помощью формул этой главы доказать теорему 
п. 4.2.5: если величины Ху,..., Хи независимы, то и случайные вели- 
чины У=Ф!: (Х1),..., У=Фи (Хи) независимы при любых функциях 
ф1,..., Фин (с помощью формул (31), (34) — (38) это доказывается для 
дифференцируемых функций ф1,..., фи, а с помощью формулы (9) — | 
для любых измеримых функций ф1, ..., Фи). 
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Пример 37. Если расположить значения п независимых ска- 
лярных случайных величин Х|,..., Хи, имеющих одну и ту же 
функцию распределения РЁ (х), в порядке возрастания, то У-е по 
порядку значение называется у-м нижним значением, а -е в порядке 
убывания называется \-м верхним значением. Найти распределения 
\-го нижнего И и \-го верхнего У значений. | 

В данном случае проще всего применить метод сравнения эле- 
ментов вероятности. Вычислим элемент вероятности величины (0, 
соответствующий бесконечно малому интервалу (и, и-- 4и) (т. е. ве- 
роятность попадания У-го нижнего значения И в этот интервал). 
Чтобы величина И попала в интервал [и, и-- аи), необходимо и 
достаточно, чтобы какие-нибудь у—1 из п величин Х1,..., Ан при- 
няли значения, меньшие чем и, одно значение попало в интервал 
[#и, иг аи), а остальные п—уУ. приняли значения, не меньшие чем 
и аи. 

Таким образом, мы имеем схему повторения опытов с тремя 
несовместными событиями, образующими полную группу, А!=={Х < ци}, 
А. ={Х = и аи} и Аз={и<Х < я а которых при 
одном опыте равны соответственно Ё (и), Е (и) и { (и) аи (с точ- 
ностью до бесконечно малых высших. п Поэтому для вычис- 
ления искомой вероятности можно применить формулу (1.36) для 
полиномиального распределения при г=3. Тогда получим 


п! 


| ВЕ ь 

Ви РР ФИ-Р 4, 

Эта формула Е плотность у-го нижнего значения И: 
п | | 

и о Ва ре 
_ В и = [8 = ("— У! ГУ ее . Е (и) "- УД (и). (46) 
Точно так же находим плотность У-го верхнего значения У: 
п! 

|. И. У (© И-Р (0) \-* 7): (47) 


В частности, при *=1 отсюда получаются формулы для плотностей 


наименьшего и наибольшего значений И/= шш Х,;,ИУ= тах ие 
1<Е<п 1<Е< 


п (и) =лИ-—Р (и) "1 Ри), ББ Ф=пЕ" 1 (0) |). с (8) 


Для нахождения совместной плотности у-го нижнего и У-го верх- 
него значений (0, У при у=< 1/2 достаточно заметить, что для попа- 
дания И в интервал (и, и-|- ди), а У в интервал (о, 9-40), ори, 
необходимо и достаточно, чтобы какие-нибудь У—1 из величин 
Х!,..., Ап приняли значения, меньшие и, какие-нибудь у— 1 дру- 
гих приняли значения, не меньшие о-+ 4, п—9\ попали в интервал 
[и-- аи, 9), одно попало в интервал [и,-и-- 4и) и одно в интервал 
[9, и-- 40). Таким образом, задача сводится к схеме и опы- 
тов с пятью событиями, вероятности которых равны Р (и), Е (%), 
Е ()—Е (и), [(ы) аи, Р() 4х. Пользуясь формулой (1.36) м ть 


‚получаем после сокращения на ди 4о следующее выражение для сов- | 
местной плотности у-го нижнего и у-го верхнего значений И, у: 


п! Е т 
РО" РО 


Рим 1 Р-Р Фи). (49) 


Г (и, 9) = 
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Последний множитель 1(— и) добавлен потому, что событие У < И 
при у<< 1/2 невозможно, вследствие чего } (и, 9) =0 при у < и. 
В частном случае при у=| из (49) получается формула для сов- 
местной плотности наименьшего и наибольшего значений И = пип Хр, 
1<<п 
У= шах Хы 
1$ ^<п 


Ги, =п и К О-Е (и) | (и) © 16—и). — 60) 


Пример 38. В условиях предыдущего примера найти распреде- 
ление разности между \-м верхним и \-м нижним значениями $5 =У — (Ц. 

Так как уравнение 5=и— и при любом $ имеет единственное 
решение и==и-|-$, то на основании (34) плотность величины © опре- 
деляется формулой 


| 


в = | Ги, ира. (51) 


-® 


Подставив сюда выражение (49) функции { (и, 9), получим 


Пи 


ыр (и)]” г 1 ынй (ит Р(и) Р(и-- $) аи. (52) 


В частном случае при у=! отсюда получаем плотность так на-. 
зываемой широты разброса п независимых случайных величин. 


$ = шах Х;,— па Х» (широты выборки в задачах статистики): 
- 1“ 2<п 1<А<п | | 


‚ п! 1$) р БУ-1 (и) [Е (и $)— 


|=) 


в =пи-—1019) (Е 9—2] 7) и 948. 63) 


—_ © 


3.3. Применение дельта-функции. Еще один метод 
нахождения распределений функций случайных величин 
основан на применении б-функции. 

№» Если У=ф(Х), то величина У при любом значе- 
нии х величины Х имеет единственное возможное значе- 
ние ф(х), и условная вероятность этого значения при 
данном х равна 1. Поэтому условная плотность величины У 
при Х=х представляет собой 6-функцию: 


(= (у—Ф(5)). 


Следовательно, совместная плотность величин Х иУ=Ф(Х) 
определяется формулой 


1х, )у=Ь()8 (9—9). 
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Отсюда, выполнив интегрирование по х в соответствии 
с (4.9), находим плотность случайной величины У: 


[*=) 


Би = 6—4. 4 `(54) 


‚ Эта формула определяет плотность величины У=Ф(Х) 
как в случае скалярных, так и в случае векторных вели- 
чин Х и У. Она особенно удобна для нахождения плот- 
ности функции случайной величины в случаях, когда 
функция Фф(х) имеет ‘постоянные значения в некоторых 
областях пространства значений величины Х, вероятно- 
сти попадания в которые отличны от нуля. В таких слу- 
чаях формула (54) автоматически дает линейную комби- 
нацию соответствующих 6б-функций в выражении плотно- 
сти |, (и), в то время как формулы (31), (34) —(38), так 
же как и метод сравнения элементов вероятности, оказы- 
ваются неприменимыми (следует отметить, что формула (9) 
справедлива и в таких случаях). 

Предоставляем читателю самостоятельно вывести из (54) 
формулы (31), (34) —(38), выполнив интегрирование после 
соответствующей замены переменных и, если потребуется, 
разбиения области интегрирования на части. 


Пример 39. Найти распределение выходного сигнала ограни- 
чителя (пример 2.15), если дана плотность [, (х) входного сигнала Х. 

В примере 2.15 мы нашли плотность выходного сигнала У, опре- 
делив сначала его ‚функцию распределения (т. е. применением фор- 
мулы (9) к данной частной задаче). Сейчас мы решим эту задачу, 
пользуясь формулой (54): 


[а (у) = 
= \ лоби-яая+ | побив и-да= 


=ПФ8 +9 | Бои -9 } по4х. 


Пример 40. Найти распределение суммы 2 независимых слу- 
чайных величин Х и У, распределенных равномерно на интервалах 
(-а, а) и (—Ь, 6) соответственно, В > а. 

По формуле (54) находим 
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Так как точка г—х расположена в интервале (—6, 5) только при 

—х-Ь > 0, 2— х—6 < 0, то интеграл по переменной у равен раз- 

ности единичных ступенчатых функций 1(2—х-- 5) —1(г—х— 5) и 
а 


| 
Бот: в ея) — Це—х— ая 
_а . 

Подынтегральная функция здесь отлична от нуля только приг— в < 
< х<2--6. Интервал (2—6, 2-- 6) не пересекается с интервалом интег- 
рирования (—а, а) при 2 < —а—ви при 2 >а--Ь, 

(2—6, 2) (—а, а) =(—а, 2-5) при 2Е(—-а—6, а— 5), 
(2—6, 2-5) П(—а, а) = (—а, а) при’ г Е(а— 6, 6—а), 

(2—6, 2-6) П(—а, а) =(2-—Ь, а) при гЕ(Ь—а, а--ь). 
Поэтому [» (2) =0 при |2] > а-ЁЬ, | 


[ 5 @+5+8 при 2Е(—а—Ь, а— 5), 
р, в 5 при г (а—в, 6—4), 


1 
|5 -Ь—2) при 2Е(6—а, а-- 5). 


График этой плотности показан на рис. 95. 


3.4. Применение характеристических функций. В неко-` 
торых случаях для нахождения распределений функций 
случайных величин целе- | 4 
‚ сообразно применение ме- 
тода характеристических 
функций. 

Рассмотрим случайную 
величину (У=ф(Х), где 
ф (х)— любая функция (из- 
меримая, см. п. 2.2.). 
Согласно определению 
(4.63) характеристическая Рис. 25. 
функция 2, (А) величины У дается формулой 


: [= 
лы ‹ Т 
8, (^) = Ме "У = Ме = | ей 99 р, (хах, (55) 
— © 
где |, (х) —плотность случайной величины Х. НИЯ 
таким путем характеристическую функцию величины У, 
можно по формуле (4.72) найти ее плотность: 


Рае |. = 56 


[*2) 


_—© 
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Подставив выражение (55) в (56), изменив формально 
порядок интегрирования и приняв во внимание форму- 
лу (15) приложения |, вновь получим (54). 


Пример 41. Найти распределение суммы двух независимых 
величин Х и У, распределенных раЁВНомерно в интервалах (—а, а) 
и (—6, 5) соответственно, а < 6. 

о (55) и (56) дают 


5 — | | — 
— "вы К е-—1^2 4/, | | ей. (х+у) 4х 4у=. 
ие. а эт Ла т АБ | \ зп Ла зщ ЛЬ с0$ А2 
21а. 2 лавь 1,2 
а РЕ и иб-ы а) 
т [со$ (а —6-- 2) ^-| соз ео 2) ^, 


— с0$ (а ь--2) ^—соз (а 6—2) ^] с к 


Отсюда на основании известной формулы ` 
[= <) 


1 —с0зЯи о Л. 


получаем 
В = зач ьа--1а-- 2-1 а-—6-21а—6—21. 


Этот результат совпадает с результатом примера 40. 
Пример 42. Координаты случайного вектора Х независимы 
и имеют распределение М (0, р). Найти совместное распределение 


величин Хи 5=ХГХ—пХ?, где Х — среднее арифметическое коор- 
динат вектора Х. | 
По формуле (55) находим 


Г (1, 1.5) г Мей Х+ 1.5 зы 
| @] | . 
ИНОЕ \ ехр рых 25 (| х > | х |} ах 


Замена переменных у= Ах, где А — ортогональная матрица, все эле- 


менты первой строки которой равны 1/У п, дает У пх=и, и ин- 
теграл преобразуется к произведению п интегралов : 


Е (м, ^,) = | В 
© > ь © о п-1 
= бтруит \ сло [уж р “| ехр 5 п} 
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Пользуясь формулой (1) приложения 2, получим 
у __В_ 12 _ №1 
зб, Ш=её М СПО №. 


Отсюда в силу свойств 6) и 3) характеристических функций и фор- 
мул (4.68) и (4.69) при и=л/2—Т и А= 1/2 следует, что величины Х 
и $ независимы, Х имеет распределение М (0, О/п), а $/РЬ— х?-рас- 
пределение с в=п— | степенями свободы. | 

Пример 43. Строки пхт-матрицы Х представляют собой не- 
зависимые 7-мерные векторы, имеющие одно и то же распределение 


№ (0, К), Х—матрица-строка, элементами которой служат средние 

арифметические элементов соответствующих столбцов матрицы Х (при- 

мер 15). Найти совместное распределение величин Хи $ = хх —пАХТХ. 
По формуле (55) находим 


в (^! А.) = Ме Хм +1 {г ^2$ — 


| 


==—щ—щ—щ ехр 3 &А А. (хГх Е, № 
а К р 1-НЫЛ» ( хх) 


| 
8—8 


— > ихК- ди, 


где А, — матрица-столбец тх1, а А. —симметричная тх т-матрица. 
Применив ортогональное преобразование предыдущего примера к каж- 
дому столбцу матрицы х, получим 

УМ | 

ее К-т аух 


Уп 2 


| | 
Е. а ( 
СИА ВВЫ 


—х | 
п-1 


] 
\ 
х 94-2 = у(К-! аи ь 


где у— матрица-строка 1 Жт. Пользуясь формулой (2) приложения 2, 
получим окончательно 


25 
^1 КА:/2п [| К | а РИ — 


2 (А, А, 2) Е 
И—22КА» |- "1/3, 


Отсюда в силу свойств 6) и 3) характеристических функций и (4. 70) 


следует, что величины Х и 5 независимы, причем Х имеет распреде- 
ление № (0, К/п), а характеристическая функция величины 5 опре- 
деляется формулой 


$ (^) 17 КА р (57) 


где А — симметричная тхт-матрица. Чтобы найти распределение 
величины `5, остается заметить, что &; (^) абсолютно интегрируема, 
и применить формулу (56). В результате после довольно громоздких 
выкладок получим для © распределение Уишарта, определяемое 
плотностью шиш (5) (пример 18) [105]. 
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Пример 44. Совершенно так же в ре примера 43 нахо- 
дим распределение величины 5’ = ХТХ: 


Т 


8, (№) = ах= 


1 | ( Гат т х— як 1х 

[(2л)” | К |"? . 

| _ п 
—=|/-—2КА| *. 

Сравнивая эту формулу с (57), видим, что величина $’ имеет распре- 

деление Уишарта ми-+1, т (5') | 


3. 5. Метод моментов. Если функция ф (х) ограничена, 
то для нахождения распределения величины У =ф(Х) по 
данному Ре величины Х можно применить 
метод моментов. , 

По доказанному в п. 4.5.3 распределение ограничен- 
ной случайной величины полностью определяется ее мо- 
ментами. Поэтому в данном случае достаточно вычислить 
моменты величины У =Фф(Х). 


Пример 45. В условиях примёров 43 и 44 найти распределе- 
ние отношения определителей матриц 5 и 9’, И=|5|/5' |. 
Заметив, что | 


15° [=1$ 1-Е Х5-1Х7), | (58) 


и приняв во внимание положительную определенность матрицы $5, 
приходим к выводу, что | 5’ | =| 5 | 0. Таким образом, распределе- 
ние величины У полностью сосредоточено на интервале [0, 1]. Следо- 
вательно, распределение величины У полностью определяется ее мо- 
ментами. 

Для вычисления моментов величины У выведем сначала формулы 
для моментов величин |$|и | 5' |. На основании формулы (21), опре- 
деляющей плотность &и„и (5) матрицы о, 


. Си и | п-т и в т =. 
а |9" ; | ыы > ИК а 
(2т |К]) ° 
Заметив, что  подынтегральная функция,  умноженная на 
бра ОИК) Пти. представляет собой — плотность 
@н+2т, т (5), получаем 
Г т —) 
с и о. 
ме КиК’ (59) 


=1 г(^ >) 
при ` любом г > —(п—т)/2. Так как распределение матрицы 5’ по 


доказанному в примере 44 определяется плотностью &@и+1, ш (5'), то 
ДлЯ нахождения моментов определителя |$’| достаточно заменить 
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в (59) п на п--1. В результате будем иметь 


| | Г и 
(От Си+1 т — (От — 2 
М|5$' |" = (2 ни ( А СЕНЯ | (60) 


при любом г > — (п-- 1—7) /2. 
Перейдем теперь к вычислению моментов величины И = |5 |/| 5' |. 


Заметив, что в силу (58) У= (1-- 1Х$- 1ХТ)-1, т.е. представляет 
собой функцию величин Х и 5, пользуясь НАЙДЯ в примере 43 
совместной плотностью Х и 9, можем написать 


т 


о ВН ре и. 
"ети (+) як" 


-нк-5- А ак-хтГ _ —_ 
Хе : _@х@= 
р пгт 
- оо ИИ ааа: т ВЕ ЗАВ 
_ (2” 2" К) Ил”. Е 
о Ще 
Хе - 42 4$ 


Последний интеграл, умноженный на 


„ 


Сп+аг, т (2т|К]) бп, 


представляет собой`М | $’ |-7 в случае, когда п заменено на п-| 2/. 
‚ Следовательно, для вычисления этой величины достаточно применить 
формулу (60), заменив в ней п на бт 2г иг на —г. В результате 


получим | 
г | : Г п, Г А ы 
Спит  Си+2г+1, т 2 2 | 
и 
Си+2г,т Си++, т п [Пт п 
| Г —- и 
2 5+ 


‚Сравнив эту формулу с формулой примера 3:19 для моментов В-рас- 
пределения, приходим к выводу, что величина У имеет В-распределе- 
ние с параметрами р== (п — т)/2 и 4 = т/2. Этот результат совпадает 
с результатом примера 18. Однако там этот результат был получен 
для произвольной функции р (и) примера 15. Здесь же он получен 
лля частного случая нормального распределения матрицы Х. 
Заметим в заключение, что в ‘силу (58) величина У связана 
с обобщенным стьюдентовым отношением Т (пример 15) зависимостью 


= (1+). 


Пользуясь этой зависимостью и найденным распределением вели- 
чины ИУ, можно легко получить результат примера 15 для частного 
случая нормального распределения матрицы Х. 


МУ! — 
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$ 4.- Предельные теоремы 


4.1. Простейшая предельная теорема. Метод характе-. 
ристических функций удобен для нахождения предель- 
ных распределений функций неограниченно возрастаю- 
щего числа случайных величин. Мы применим его для 
доказательства простейшей предельной теоремы. 

Если {Х,} — последовательность независимых величин, 
имеющих одно и то же распределение с математическим 
ожиданием т и ковариационной матрицей К, то последо- 
вательность распределений случайных величин 


2, = 7 (№1 ...--Х», Е=Х,—т (П=|,2,...), 


ВЕ к. нормальному распределению М (0, К). 
№ ГПусть 5 (^) — характеристическая функция каждой 
из величин Х,. На основании (4.65) и (4.66) характеристи- 
ческая функция 5, (А) величины 2, определяется формулой 


в.) = [ехр {Чу} а (уг) |" 


Отсюда находим 
они 
ша, (4) "| и +тё т (61) 
Но на основании (4.92) 
А \_ ИГт _ МКА, ГА 
ПиН 
Подставив это выражение в (61), получим 
УЕ 
та, (№) =—5 МКА-+ по ( ` р 


Отсюда видно, что 


шо, (^) ——5МКА при п-+ оо. 


Таким образом, &,„(^) стремится. к характеристической 
функции нормального распределения М (0, К) при каж- 
дом А. Можно доказать, что отсюда следует сходимость ' 
последовательности распределений величин 2, к № (0, К) 
[17, 44]. ч 

Доказанная теорема, очевидно, справедлива и в том 
случае, когда ранг ковариационной матрицы К меньше 
размерности т величин Х,. В этом случае предельное 
распределение М (0, К) будет вырожденным. 
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Пример 46. В примере 3.11 было показано, что биномиальное 
распределение можно рассматривать как распределение суммы неза- 
висимых величин ХА}, ..., Хи, каждая из которых имеет два возмож- 
ных значения 0 и 1 с вероятностями д =! —р и р соотлветственнс. 
Каждая из этих величин имеет математическое ожидание т=ри 
дисперсию ОР =ра. На основании доказанной теоремы распределение 
случайной величины 


т 
о бв=——Щ(Ха-|...-НА,— Пр) 
Уп 


стремится к М (0, ра) при п —> © (теорема Лапласа). 


Пример 47. Так как среднее арифметическое Х независимых 
одинаково распределенных случайных величин А!, ..., Ар связано 


с величиной би соотношением Х =7,/ Ут-- т, то по доказанной тео- 


реме величина Х распределена асимптотически нормально М (т, К/п). 
Пример 48. В примере 3.13 было показано, что случайный 
вектор 2“), координатами которого служат числа появлений значений 
х1, ..., АМ Дискоетной случайной величины х в одном {-м опыте,, 
имеет математическое ожидание р=[р:...рм]Т и ковариационную, 
матрицу К==Л — ррТ, где р:,..., ру — вероятности значений х!, ... 
.. Хм соответственно, а А — диагональная матрица с элементами 
2:1, ..., Рм. По доказанной теореме случайный вектор 


где Д— вектор, координатами которого служат числа появлений 
71, ..., м значений х1, ..., Хм при п опытах, распределен асимпто- 
тически нормально № (0, А— ` ррт). Отсюда следует, что вектор частот 


Р=[Р:... РТ значений х!, ..., хм, равный Р= ИУ п- р, рас- 
пределен асимптотически нормально М (р, (А—ррГ)/п). 
Рассмотрим теперь случайный вектор У с координатами У’), = 


—= (Р,— ру) ИУп/ру (У=1, ..., М). Математическое ожидание век- 
тора` У равно нулю, а его: ковариационная матрица К о 


я 
Кат, Ира И р 


Согласно. полученному результату распределение вектора У стремится 
к №(0, К,) при п->*®. Найдем асимптотическое распределение 
случайной величины 


Р | 
У =п у (Р.Р, У И —ИтТуи 
У= 1 Ру 
при п —* о. Для этого воспользуемся последним результатом при- 
мера 33. В данном случае матрица А представляет собой единичную 
матрицу порядка М, а В=К1/* К? =Ко=/— 941 имеет ранг М— 1 
и представляет собой матрицу ортогонального проектирования, так 
как 0 ‚1—2 (И р,)*=Ур,=Т и, следотательно, (197)? =9 (979) 97 = 
= 097 
К =1— 2997 -|- (997) =1— 947 = Ко. 
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Согласно последнему результату примера 33 величина У =УТУ имеет 
асимптотическое распределение у? с №М—1 степенями свободы. 
Координаты вектора У связаны очевидным скалярным соотноше- 


> ь 
нием 9ТИУ =0, вытекающим из равенств УР, =» р, =1 (напомним, 
что 9— вектор с координатами Ури, ..., Ирм). Именно поэтому 


ксвариационная матрица вектора У имеет ранг М-— 1. 

Теорема о сходимости распределения величины УТУ к у?-распре- 
делению с Л—1 степенями свободы была доказана К. Пирсоном 
[72, 73].. | 


4.2. Значение предельных теорем. Из доказанной пре- 
дельной теоремы следует, что распределение суммы слу- 
чайных величин Х,, ..., Х,„ при достаточно большом п 
как угодно близко к нормальному М (Ут. пК). 

Теорема о сходимости последовательности распределе- 
ний надлежащим образом нормированных сумм центри- 
рованных случайных величин к нормальному распределе- 
нию при весьма общих условиях распространяется на 
случай независимых величин Х, с различными распреде- 
лениями, а также на случай зависимых величин Х, 
[54, 55, 17, 44, 120]. | 

Предельные теоремы образуют обширный раздел сов- 
ременной теории вероятностей. Они объясняют причины 
широкого распространения нормального распределения и 
механизм его формирования. На основании предельных 
теорем можно утверждать, что во всех случаях, когда 
случайная величина образуется в результате суммирова- 
ния большого числа независимых или слабо зависимых 
случайных величин, дисперсия каждой из которых мала 
по сравнению с дисперсией суммы, распределение этой 
величины оказывается практически нормальным. 


Глава 6 


ОЦЕНИВАНИЕ ПАРАМЕТРОВ РАСПРЕДЕЛЕНИЙ. 


$ 1. Основные задачи математической статистики. 


1.1. Определение статистических характеристик из 
опыта. Для получения исходных данных для вероятност- 
ных расчетов, так же как и для получения исходных дан- 
ных для любых других практических расчетов, приходится 
обращаться к опыту. Методы анализа результатов опытов 
и определения по ним вероятностей событий и характе- 
ристик случайных величин дает математическая статис- 
тика —обширный раздел современной теории ВЕРОЯТНО: 
стей. 

Из нашего подхода к определению ОСНОВНЫХ ПОНЯТИЙ 
теории вероятностей в предыдущих главах непосредст- 
венно вытекают и способы определения основных статисти- 
ческих характеристик из опыта. Так, мы знаем, что за 
вероятность события можно принять его частоту при 
большом числе опытов, за математическое ожидание и 
дисперсию случайной величины — выборочное среднее и 
выборочную дисперсию, за ковариацию и’ коэффициент 
корреляции двух случайных величин — выборочные кова- 
риацию и коэффициент корреляции. Наконец, плотность 
случайной величины можно определить как относитель- 
ную плотность’ экспериментальных точек в соответствую- 
щих интервалах. Однако при этом остается много неясных 
вопросов. При любом измерении или экспериментальном 
определении какой-либо величины всегда возникает во- 
прос о точности определения этой величины. Так и в на- 
шем случае прежде всего возникает вопрос: с какой 
точностью мы получаем вероятность события, принимая 
за нее частоту этого события? Что надо сделать, чтобы 
повысить точность определения вероятности события? 
Сколько нужно произвести опытов, чтобы получить ве- 
роятность события с заданной точностью? Подобные во- 
просы возникают и при определении ‘характеристик слу- 
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чайных величин. Все эти вопросы’ необходимо уметь 
решать, чтобы знать, насколько можно доверять полу- 
ченным из опыта данным и основанным на них расче- 
там, полагаться на них в нашей практической деятель- 
ности. 

Прежде всего, ясно, что не может быть речи о точном 
определениц вероятности события по конечному числу 
опытов. Конечно, случайно частота события может ока- 
заться равной его вероятности. Но это маловероятно и 
обнаружить это совпадение невозможно. Частота события, 
полученная в результате опытов, практически всегда 
отличается от его вероятности. 

Однако и о приближенном в обычном смысле опреде- 
лении вероятности события по результатам опытов гово- 
рить не приходится. Говоря о приближенном определении 
какой-либо величины, мы обычно подразумеваем, что 
можно указать пределы погрешности, из которых ошибка 
не выйдет. Частота же события случайна при любом числе 
опытов из-за случайности результатов отдельных опытов. 
Так, например, если мы будем много раз определять 
частоту одного и того же события, скажем появления 
герба, по результатам 100 опытов, то будем получать 
различные значения частоты этого события. Из-за случай- 
ности результатов отдельных опытов частота может до- 
вольно значительно отклоняться от вероятности события. 
Поэтому, определяя неизвестную вероятность события 
как частоту этого события при большом числе опытов, мы 
не можем указать пределы погрешности и гарантировать, 
что ошибка не выйдет из этих пределов. Из-за случайно- 
сти результатов ‘опытов полной гарантии, что ошибка не 
выйдет из любых заданных пределов, быть не может. 
Поэтому в математической статистике обычно говорят не 
о приближенных значениях неизвестных величин, а об их 
подходящих значениях, оценках. 

В дальнейшем мы будем называть все подлежащие 
определению величины — вероятности событий, числовые 
характеристики и распределения случайных. величин — 
статистическими характеристиками, а найденные по 
результатам опытов их значения — оценками. 

Оценив по результатам опытов ту или иную статисти- 
ческую характеристику, естественно поставить вопрос: 
насколько согласуется с опытными данными предположе- 
ние (гипотеза) о том; что неизвестная характеристика 
имеет именно то значение, которое получено в результате 


218 


ее оценивания? Так возникает второй важный класс задач 
математической статистики — задачи проверки гипотез. 

Таким образом, основными задачами математической 
статистики являются разработка методов нахождения оце- 
нок и исследования точности их приближения к оцени- 
ваемым характеристикам и разр оОрка методов проверки 
гипотез. _ 

1.2. Виды вероятностной сходимости. В главах | из 
на основе интуитивных представлений мы пришли к вы- 
воду, что при увеличении числа опытов П`частоты событий 
и выборочные средние значений случайных величин 
должны приближаться к соответствующим вероятностям 
и математическим ожиданиям. Однако вследствие случай- 
ности результатов опытов о сходимости в обычном смысле 
здесь говорить не приходится. В связи с этим возникает 
необходимость введения новых понятий сходимости и пре- 
дела, отличных от принятых в элементарном математиче- 
ском анализе. | 

Последовательность случайных величин {5,} назы- 
вается сходящейся в среднем’ квадратическом (с. к. сходя- 
щейся) к случайной величине 5, если М|$,—$52-—0 
при п —* <. 

Последовательность случайных величин {5,} назы- 
вается сходящейся по вероятности (п.в.) к случайной 
величине $, если при любом в > 0 


Р(1$,—$| >) —0 при п > ©. 


Последовательность случайных величин {5,} назы- 
вается сходящейся почти наверное (п.н.) к случайной 
величине $, если Р ($, —+5)=1. 

Эти определения относятся как к скалярным, так и 
к конечномерным векторным случайным величинам. В по- 
следнем случае |х| означает модуль (норму) вектора х. 

Так как любую неслучайную величину можно рассмат- 
ривать как случайную величину с единственным возмож- 
ным значением, имеющим вероятность, равную единице, 
то приведенные определения относятся и к сходимости 
последовательности случайных величин к езлучачной 
величине, в частности к нулю. 

1.3. Неравенство Чебышева. Связь между разными 
видами сходимости. Интуитивно ясно, что всякая с.к. 
сходящаяся последовательность сходится к тому же пре- 
делу и п.в. Для доказательства выведем сначала одно 
важное в тёории вероятностей неравенство. 
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№» При произвольных > 0 ир>0 для любой слу- 
чайной величины Х (скалярной или векторной) имеем 


Р(Х|>9= | < я 


1х | >е 


Здесь в первом и втором интегралах неравенство под 
знаком интеграла означает, что областью интегрирования 
служит множество всех х, удовлетворяющих этому не- 
равенству. 

Таким образом, при любых Е>0, р>0 


(Х >29 < М| ХР. 4 (1) 


Это неравенство обычно называется неравенством Чебы- 
шева. При практическом применении этого неравенства 
число р>0 выбирается так, чтобы было М | Х [< оо. 

Применив. неравенство (1) к случайной величине Х == 
=5,—5 при р=2, получаем 


Р(5,—-$| 28 <-= М18,—5[. 


Отсюда непосредственно следует сходимость п. в. всякой 
с.к. сходящейся последовательности. 

Обратное в общем случае неверно. Чтобы доказать 
это, достаточно привести соответствующий пример. 


Пример 1. Пусть 5„— случайная величина с плотностью 
| п | 


р п=р2,...) 


(распределение Коши). Так как 


тев=- агсфо (п) —+ т 


Р(15,| < г) = | нов 1 Е: 


— ПЕ 


тя 


при п —* ©, то Р (| 5% |=) —0 при любом в > 0. Поэтому после- 
довательность {5„} сходится п.в. к нулю. Однако М | $, |? = © при 
любом п (пример 3.6), вследствие чего последовательность {$„} не 
сходится с.к. к нулю. 


Легко сообразить, что и всякая. последовательность 
случайных величин {5,\, сходящаяся п.н. к $, сходится 
кзипм.6. | 
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}> Действительно, из сходимости п. н. 15,1 к $ сле- 
‚ Дует, что для любого > 0 


Р (|$„—5$ |2 хотя бы при одном т > п) —* 0 при п-—+ со. 

Но | | 

Р(|5,„—5|2>2) < 
<Р(|5$,„—5$|>а хотя бы при одном т>п), 


откуда и следует сходимость п. в. Последовательности 
{5} ко. 4 | 
Обратное в общем случае неверно. | 
Пример 2*). Пусть $„— случайная величина с двумя воз- 
можными значениями 0 и 1, вероятности которых равны соответст- 
венно 1— (1/7) и 1/п, причем при любых натуральных пу, ..., Пк 
случайные величины бл,» ..., о, Независимы. Последовательность 


{$„} сходится п.в. к 0, так как при любом в, О<=< 1, 
| 
Р (15. | > В ОЕ -нО при п... 


Однако эта последовательность не сходится п. н. к 0. Действительно, 
при любом &, 0<8<1,. | 


Р (|$ш| <= при всех тп) =—< | 
—Р(|$и|<‘в при всех т, п тж М) = 


М 
п | п №М—2 М—1 п 
а 


Отсюда в силу произвольности М№ следует, что при любом п вероят- 
ность Р (]|$ш| <= при всех т п) меньше сколь угодно малого 
положительного числа. А это и значит, что вероятность сходимости 
последовательности {$5} равна 0, т. е. {5} не сходится п. н. к нулю. 

Заметим, что последовательность {5} в данном случае с. к. схо- 
дится к нулю, так как М | $„|?=1/п — 0 при п —> с. Таким обра- 
зом, мы имеем пример последовательности случайных величин, схо- 
дящейся п.в. и с.к., но не сходящейся п.н. 

Пример 3. Пусть $„—случайная величина с двумя возмож- 
ными значениями 0 и п, вероятности которых равны соответственно 
1— (1/7?) и 1/п?. Последовательность {$„} сходится п. в. к нулю, 
так как при любом > 0 для всех достаточно больших п 


Р(5, |=) =Р (Зи) = 5—0 при п —о0, 


Последовательность {5„} сходится к 0 ип.н., так как 
Р (|$ш|-= хотя бы при одном т >= п) < 


ее) в) 
| 
= У. Ри) = У О при П—+ < 
т=лп т=л 


*) Примеры 2 и 3 заимствованы из книги Бартлетта [3]. 
[ 
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и, следовательно, Р (|$ш| < при всех тп) -—> 1 при И— 0, 
что и доказывает сходимость последовательности {5„} к нулю с ве- 
роятностью |, т. е. сходимость п. н. | 

Однако последовательность {$} не сходится с. к. к нулю, так 
как М| $, |2 =1 при любом п. 

Пример 4. Пусть 5„— случайная величина с возможными 
значениями О и |1, вероятности которых равны соответственно 
1 — (1/1*) и 1/72. Показать, что последовательность {5„} сходится 
кОип.в., ип. н., ис. к. 


Приведенные примеры показывают, что последова- 
тельность случайных величин может быть сходящейся 
п.в., но не сходящейся с.к. или п.н., может быть схо- 
‚дящейся п.н., но не сходящейся с. к. и наоборот. Таким 
образом, как класс с.к. сходящихся последовательностей, 
так и класс пон. сходящихся последовательностей яв- 
ляются подклассами последовательностей, сходящихся 
п.в., причем эти два подкласса имеют непустое пересе- 
чение. | 

Так как в силу (3.29) 


м|5,—$=0($„—$)+|М$,—М$Р, (2) 


то для с.к. сходимости последовательности {$5„} к 9 необ- 
ходима и достаточна сходимость последовательности 
математических ожиданий 1{М5$,} к М$ и сходимость 
последовательности дисперсий разностей $,—5 к нулю. 

Из (2) следует также, что для с. к. сходимости после- 
довательности случайных величин {5,} к неслучайной 
величине а необходима и достаточна сходимость после- 
довательности математических ожиданий {М5,} кан 
сходимость последовательности дисперсий {05} к нулю. 

Сходимость цо вероятности, сходимость в среднем 
квадратическом и сходимость почти наверное представ- 
ляют собой особые, вероятностные виды сходимости. 
В частном случае последовательности неслучайных вели- 
чин все эти три вида сходимости совпадают с обычной 
сходимостью. Таким образом, каждый из трех видов 
‚вероятностной сходимости представляет собой естествен- 
ное обобщение обычного понятия сходимости на случай- 
ные величины. 


ой 


$ 2. Оценивание статистических характеристик 


2.1. Оценки. В математической статистике обычно рас- 
сматривают только действительные случайные величины. 
Это не ограничивает общности, так как любую комплекс- 


222 


ную случайную величину можно рассматривать как дву- 
мерный случайный вектор с действительными координа- 
‚ тами. Поэтому везде в этой главе мы будем считать все 
случайные величины, в том числе и.функции случайных 
величин, действительными. 

Результаты опытов мы будем везде рассматривать как 
случайные величины. Поэтому будем обозначать резуль- 
таты опытов и все функции результатов опытов большими 
буквами. При практическом применении полученных 
формул следует заменять в них все случайные величины 
их реализациями, полученными в результате опы- 
тов. | 

Любая функция результатов опытов, которая не за- 
висит от неизвестных статистических Зара ристаь, на- 
зывается статистикой. 

Оценкой статистической характеристики 0 называется 
статистика, реализация которой, полученная в результате 
опытов, принимается за неизвестное истинное значение 
параметра 0. 

Ясно, что не всякая статистика может служить оцен- 
кой данной статистической характеристики. Поскольку 
результаты опытов случайны, любая статистика пред- 
ставляет собой случайную величину. Чтобы статистика. 
могла служить оценкой данной статистической характе- 
ристики 0, необходимо, чтобы распределение этой ста- 
тистики было сосредоточено в достаточной близости от 
неизвестного значения ©, так, чтобы кероятность больших 
отклонений этой статистики от 9 была достаточно мала. 
Тогда при’ систематическом многократном применении 
этой статистики в качестве оценки данной характеристики 
в среднем будет получаться достаточная точность. Веро- 
ятность больших отклонений будет мала, и они будут 
встречаться редко. Желательно еще, чтобы при увели- 
чении числа опытов точность результатов оценивания 
увеличивалась. В связи с этим вводят следующие опреде- 
ления, касающиеся оценок. 

Оценка статистической характеристики 9 называется 

состоятельной, если она сходится по вероятности к 0 
при неограниченном увеличении числа опытов п. 
_ Чтобы оценка характеристики 09 была состоятельной, 
достаточно, чтобы ее математическое ожидание стреми- 
лось к 0, а ее дисперсия стремилась к нулю при неогра- 
ниченном увеличении числа опытов п. Это непосредст- 
венно следует из результатов п. 1.3. | 
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Оценка © статистической характеристики 0 называется 
несмещенной, если ее математическое ожидание равно 0 


при любом числе опытов п. Оценка © характеристики 0 
называется смещенной, если ее математическое ожидание 


не равно 0. Разность М9 —0 называется смещением 


оценки ©. 

Качество оценки часто характеризуют математическим 
ожиданием квадрата модуля отклонения оценки от оце- 
ниваемой характеристики (средним квадратом ошибки): 


9 =М [9 —6 |2. 


В случае несмещенной оценки © средний квадрат ошибки 


6 представляет собой дисперсию оценки © в случае ска- 
лярной характеристики 0 и сумму дисперсий координат 


оценки © в случае векторной характеристики 0. 


Множество чисел д, соответствующих всем оценкам © 
данной характеристики 0, при данном числе опытов п, 
как и всякое множество неотрицательных чисел, имеет 
точную нижнюю грань 


б ‚= Ем1б —0[. 


Естественно стремление пользоваться такими оценками, 
для которых средний квадрат ошибки 6 или равен 6, 
или близок к 6... Для нахождения таких оценок во многих 
случаях оказывается полезным понятие достаточной ста- 
Тистики. 
_ 2.2. Достаточные статистики. Статистика $ (скаляр- 
‚ная или векторная) называется достаточной для харак- 
теристики 0, если при любом выборе другой статистики $5°. 
(тоже скалярной или векторной), для которой не 
существует зависимостей вида фр (5, < )=0, условное 
распределение статистики $” при данном значении $ ста- 
тистики 5 не зависит от 9. Иными словами, статистика $ 
достаточна, если знание значений любых других стати- 
стик не дает никакой дополнительной информации о 0 
сверх той, которая содержится в 5. 

Если достаточная статистика существует, то она не 
может быть определена однозначно. 

р Действительно, предположим, что статистика $ до- 
статочна. На основании (4.16) условная плотность лю- 
бой статистики 5’ При данном значении $ величины $ 
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определяется формулой 


$, 5'| 0 -. 
В = те, 29 
где | ($, 5’|9) совместная плотность величин 5, 5’, за- 
висящая от параметра 0, а Я ($10) — плотность вели- 
чины 9. Левая часть формулы (3) не зависит от 0 вслед- 
ствие достаточности статистики 9. Рассмотрим любую 
функцию 5,=ф(5) статистики $, такую, что уравнение 
$: =Ф (5) имеет единственное решение $ = ф-?* ($,) в области 
возможных значений величины $. Пользуясь формулой 
(5.31), находим плотность величины ©, и совместную 
плотность величин $,, $’: 


2, ($1 |0) = 7, (ф-т ($,) |0) | (51) |, , 
8 (51, 5’ |0) =[(ф-* (51), 5’ |0) У (51) |, 


где 7 (5. )—якобиан координат функции‘ ф-! ($,) по коор- 
динатам вектора $,. Условная плотность статистики 5’ 
при данном значении $; статистики ‘©; согласно ре 16) 
орде ьтСя формулой 
& ($1, 5' |6) Г Ф (51), 5'[0) 
О ты 
Е, (5° |1) = Вт (51 [ 0) 1 (ф-1 (51) 19) ° 


Сравнив эту формулу с (3), получаем 
83 (5' [$1} == 72 (5' [Ф-* ($1). 


Так как правая часть этой формулы не зависит от 0, то 
и левая часть не зависит от 0, что и доказывает доста- 
точность статистики $, ==ф ($). - < 

Таким образом, любая статистика, связанная с доста- 
точной статистикой взаимно однозначной зависимостью, 
тоже достаточна. 

Докажем, что если совместная плотность результатов 
опытов Ху, ..., АХ, может быть представлена в виде 


Эа = Оба 


то статистика $=Ф(Х.,. >. Х,„) достаточна. 

№ Пусть-5’ = (Х1,...., Х„) —любая статистика, те 
которой не существует зависимостей вида х (5, $°) = 
Предположим сначала, что сумма о _ 
ров Зи $’ равна сумме размерностей векторов Х., ..., ХА» 
и что при любых значениях $ и $’ из областей значений 


функций ф и ф уравнения. 
Ф( у ч.4, )=5, Фе м,Х,) = 


8 в.с. Пугачев .% | 225 


имеют множество решений {х/” ($, $’), Е=1,..., п}, 
[Е1($, 5’). Тогда совместная плотность величин $ и 5’ 
определится по формуле: (5. 34): 


| (5, р 7 в 5"), ..., Жо (5, и 5), 


где у бе ды координат векторных функций 
4 ($, 5 '), ..., ХФ (5, 5) по координатам векторов $ и $5’, 
ТЕ Г ($, $'). Но 


И (68 чан (5 5') 16) = 
= (ф (хо ($, 5), ..., ХС (5, 5')) 10) =# (51 9), 


так как функции х.=х:” ($, 5’), ..., Хи=ХЮ (5, 5), 
[&1($, $'), удовлетворяют уравнениям 


Ооо. 5. 
Следовательно, 


Г, 5710—1519 У [Л 5) 


Отсюда, интегрируя по 5’, находим плотность величины 5: 
АА ри 1.7, ($, 3’) [45'. 


Из полученных формул следует, что условная плотность 
величины $’ при данном 5. 


рь ($ |5) =[ ($, 5 [6)/Т, ($10) 


не зависит от 0, что и доказывает достаточность стати- 
стики 5. 

Точно так же доказывается достаточность статистики 
(Ари Х,) в случае, когда сумма размерностей 
векторов 5 и $’ не совпадает с суммой размерностей 
векторов Х!,..., Х„. | 

2.3. Доверительные интервалы и области. Как уже 
было сказано в п. 1.1, вследствие случайности резуль- 
татов опытов невозможно установить достаточно узкие 

пределы, ‘из которых ошибка оценки (т.е. отклонение 
оценки от оцениваемой характеристики) не выходила бы 
с полной гарантией. Поэтому возникает задача опреде- 
ления по результатам опытов таких пределов, из которых 
ошибка оценки не выходила бы с заданной вероятностью. 
Например, приняв частоту события Р за оценку его 
вероятности р, установить по результатам тех же опытов 
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‘такую границу возможных отклонений Р от р, которую 


модуль ошибки |Р—р| не превосходил бы с заданной 
вероятностью &. Эта граница, естественно, будет тоже 
случайной в силу случайности результатов опытов. Таким 
образом, речь идет о нахождении по результатам опытов 
такого случайного интервала (т.е. интервала со случай- 
ными концами), который с заданной вероятностью &“ 
содержал бы неизвестное значение вероятности р. 

Случайный интервал, полностью определяемый резуль-. 
татами опытов и не зависящий от неизвестных характе- 
ристик, который с заданной вероятностью & накрывает 
неизвестную скалярную статистическую характеристику 0, _ 
называется доверительным интервалом для этой характе- 
ристики, соответствующим коэффициенту доверия &“. 
Величина | —@ называется уровнем значимости отклоне- 
ния оценки. Концы доверительного интервала называются 
доверительными границами. 

Обобщение понятия доверительного интервала на 
случай векторной характеристики 9 приводит к понятию 
доверительной области. 

` Доверительной областью для векторной характери- 
стики 6,’ соответствующей коэффициенту доверия &, назы- 
вается такая случайная область, полностью определяемая 
результатами опытов и не зависящая от неизвестных 
характеристик, которая с вероятностью & содержит неиз- 
вестное значение 0. 

Очевидно, что доверительная область определяется 
заданным коэффициентом доверия & не однозначно, су- 
ществует бесконечное множество доверительных областей, 
соответствующих одному и тому же значению %. Обычно 
стараются определить доверительные области, имеющие 
минимальные размеры при данной вероятности &. Этому 
условию часто удовлетворяют хотя бы приблизительно 
области, симметричные относительно оценки © характе- 
ристики 0. | 

2.4. Методы определения доверительных областей. 
Для определения доверительных интервалов и областей . 
обычно применяются три основных метода. 

Первый метод, удобный в случае положительного ска- 
лярного параметра 0, основан на нахождении распреде- 
ления отношения оценки 9 параметра 09 к самому пара- 


метру. 9. Если оценка © такова, что это распределение 
не зависит от неизвестных характеристик, то, зная это 
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распределение, можно найти вероятность попадания от- 


ношения 9/9 в любой интервал и, наоборот, по заданной 
вероятности « найти интервал, вероятность попадания 


0/0 в который равна &. Любой такой интервал будет 
доверительным интервалом для 0. Обычно стараются по- 
лучить доверительный интервал, симметричный относи- 
тельно. оценки. Однако это не всегда возможно. В неко- 
торых случаях нижняя доверительная граница получается 
отрицательной, что не имеет смысла. Поэтому довери-. 
тельный интервал для положительного параметра 6 опре- 
деляют формулой 


шах {0, (1 —в.) 0} <0< (1- =.) 0. (4) 
При гс Е (0, 1|`этот интервал симметричен относительно 0. 


При =. >1 симметрия не достигается. Неравенства (4) 
выполняются тогда и только тогда, когда 


| 
тах {0, | —2«} ° 


$ 


<? с < 


Поэтому формула (4) определяет доверительный интервал 
для 9, соответствующий коэффициенту доверия ©, если 
20 Втор ат и 


р < сие) 


тах {0, 1 —==} 


Второй метод состоит в том, что для каждого возмож- 
ного значения неизвестного параметра 9 выбирают такую 


область, содержащую 0, в которую оценка © попадает 
с заданной вероятностью %. Эта область в общем случае 
зависит от 0 и, конечно, от %&. Поэтому мы обозначим 
ее Д. (9). Тогда можем написать 


Р(9ЕШ. (6)) =“. 


После этого для каждого фиксированного значения 
оценки @ определяют множество значений параметра 6, 
при которых ВЕР. (9). Это множество {6: ОЕ. (9)} в 
общем случае зависит от @ и ©. Поэтому мы обозначим | 
его Ао (6). Очевидно, что ЕЛ, (9) тогда и только тогда, = 
когда ОСД. (0) при этом 0. Действительно, если при 
данном значении 0 оценка @ приняла значение ЕД. (0), - 
то по определению области А. (6) данное значение 0 при- 
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надлежит А „ (6), 9Е{0: бе. (0)} = Ао @). Наоборот, если 


—^ 


оценка © приняла такое значение 0, что 9Е А» (6) = 
= {9: ЕД. (0) }, то ВЕД, (0). Следовательно, при любом 6 


Р(@ЕЛ. (0)) = Р(ОЕР. (0) = а. (5) 


Это равенство показывает, что область Л. (0) представ- 
ляет собой доверительную область для параметра 0, соот- 
ветствующую доверительному уровню 4. 

Третий метод основан. на нахождении скалярной 
функции ф(6, $, 0) оценки ©, некоторой другой стати-_ 
стики © и неизвестного параметра 9, обладающей сле- 
дующими свойствами: 

1) при любом значении $ статистики 5 и любом зна- 


чении 0 неравенство ф (6, $, 0) <с;с>0, при возрастании 
с определяет монотонно возрастающее семейство вложен- 


ных одна в другую областей Д ($, 0, с) = (0: _Ф (6, 5, 0) < с}; 
2) ф (6, 5, 9) =0 при любых $5, би ф(б, $, 9) >0 при 

любых 6, $, 0, 0-20, и, следовательно, точка 6 =0 при- 

надлежит` области Д ($, 6, с) при любых с > 0, $, 0; 

3) распределение ‘случайной величины Т= (6, о, 0) 
не зависит от 0. Зная распределение величины Т = 
=Ф\(60, 5, 0), можно определить такое 2„ > 0, чтобы 
с вероятностью & выполнялось неравенство ф (©, $, 0) га: 


Р(Ф(6, $, 0) < в.) =“. _ (6) 


Эта формула определяет случайную область ф (©, 5, 0) < 
«е., накрывающую неизвестное значение параметра 9 
с вероятностью ©, т.е. доверительную область для 0, 
соответствующую ‘коэффициенту доверия ©. 

Многомерные доверительные области трудно предста- 
вить наглядно. Поэтому возникает вопрос о нахождении 


таких` доверительных интервалов /, (9), ..., 1, (9) для 
координат 6,,...,0, векторного параметра 09, чтобы ве- 
роятность одновременного накрытия всех 0,,...,, соот- 
ветствующими интервалами была не меньше заданного @ 
(т. е. о нахождении прямоугольной доверительной области 
для 09, соответствующей коэффициенту доверия, не мень- 
шему чем а). 

Введем события А, —={0, Е 1, (0)} (&=1,..., г) И обо- 
значим прямоугольную область в г-мерном пространстве, 
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образованную интервалами /, (9), ..., /,(0), через / (0). 
На основании принципа двойственности и свойства 
полуаддитивности вероятности (1.13) 


ве 0-2 ( 1, 4» )-1—2( 0 А, }>1— УР(А,. 


Отсюда видно, что для решения поставленной задачи 
достаточно найти доверительные интервалы Г, (9), 


‚ [.(0) для координат вектора 0, а ко- 
эффициенту доверия 1 —(1 —@)/г. Тогда вероятность одно- 
временного накрытия этими интервалами всех 0,,..., 0, 
будет не меньше &. Фактически она во многих случаях 
может быть значительно больше &*). 

Основную трудность в практическом применении из- 
ложенных методов представляет нахождение распределе- 
ний различных статистик, в частности оценок. В насто- 
ящее время эти вопросы достаточно хорошо разработаны 
только для случая нормального распределения наблю- 
даемых случайных величин. 

При определении оценок статистических характеристик 
и доверительных областей для них по результатам опытов 
обычно считают опыты независимыми в смысле опреде- 
ления, данного в $ 1.8. В соответствии с этим определе- 
нием будем считать опыты независимыми, если вероят- 
ность любого события и распределение любой случайной 
величины в каждом опыте не зависят от результатов 
предшествующих опытов. Кроме того, предположим, что 
вероятности наблюдаемых событий и распределения 
наблюдаемых случайных величин не изменяются от опыта 
к опыту. Таким образом, везде в дальнейшем будем 
считать случайные результаты различных опытов неза- 
висимыми событиями и случайными величинами, имею- 
‚ щими одни и те же вероятности и распределения во всех 

опытах. | 

Нахождение оценок статистических характеристик 
обычно называют точечным оцениванием, а нахождение 
доверительных интервалов — интервальным оцениванием. 


*) Другие методы нахождения совместных доверительных 


интервалов для координат векторного параметра читатель найдет 
в [103]. 
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$ 3. Частота как оценка вероятности 


3.1. Состоятельность. Пусть р— неизвестная вероят- 


ность интересующего нас события А, Р—частота этого 
события при п опытах, рассматриваемая как случайная | 
величина —функция случайных результатов опытов. 


№» Чтобы исследовать частоту Р как оценку вероят- 
ности события, воспользуемся формулами для математи- 
` ческого ожидания и дисперсии частоты, полученными 
в примере 3.11: 


МР=р, ОР=", 9=1—р. | _ (7) 


Отсюда видно, что математическое ожидание частоты со- 
бытия равно его вероятности, а дисперсия частоты стре- 
мится к нулю при неограниченном увеличении числа 
опытов И’. Следовательно, частота события с.к. сходится 
к его вероятности при П— со. Но из с.к. сходимости 
вытекает.и сходимость по вероятности (п.в.). 

Таким образом, частота события сходится п.в. к ве- 
роятности этого события при неограниченном увеличении 
числа опытов п. В этом состоит теорема Якова Бернул- 
ли — первая и простейшая теорема из серии теорем, объеди- 
няемых под названием закона больших чисел, который 
устанавливает  вероятностную сходимость эксперимен- 
тальных статистических характеристик к соответствующим 
теоретическим характеристикам. Таким образом, закон 
больших чисел подтверждает наши интуитивные пред- 
ставления об устойчивости частот событий и характерис- 
тик случайных величин и тем самым обосновывает все 
практические применения теории вероятностей. 

На основании доказанной теоремы Якова Бернулли 
и первой формулы (7) частота события является состоя- 
тельной несмещенной оценкой его вероятности. Более 
того, как мы увидим в $ 7.1, частота представляет собой 
несмещенную оценку вероятности с минимальной диспер- 
сией. Поэтому никакие другие оценки ВороаНоСти обычно 
не применяются. 

° Остановимся несколько подробнее на смысле выводов, 
вытекающих из проведенного исследования. Из теоремы 
Якова Бернулли следует, что при любых в, 6 >0 при 
всех достаточно больших числах опытов й имеет место 
неравенство | 


РИР-р| >29) <5. (8) 
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В силу произвольности ‘и 6 и принципа практической 
уверенности отсюда следует, что при достаточно большом 
числе опытов п получение отклонения частоты от веро- 
ятности, превосходящего по 
абсолютной величине произ- 
вольно малое наперед задан- 
ное число &, можно считать 
невозможным событием. На 
этом и основано использо- 
вание частоты в качестве 
оценки вероятности события. 

3.2. Доверительные интер- 
валы. Для нахождения до- 
верительных интервалов для 
вероятности обычно пользу- 
`ются вторым методом п. 2.4. 

№ Для каждого значения 
вероятности рЕ(0, 1) зада- 
ют интервал До (р) = [а (р), бо (р), концы которого оп- 
ределяются из условий 


Р(Р <а. (р) =Е(@, (р) < 1—5, 


Р(6>ь, (0) =1-Е6.(р)<1—%. 


(3) 


где Р(х)—функция распределения частоты, т. е. функ- 
ция биномиального распределения 


Е(9= У. Стртд" 1 (х— т). 
Тогда будем иметь 


Р(РЕР.(р)) = Р (а- (р) <Р< В. (р)) > а. 


Знак > вместо == здесь и соответственно < в (9) бе- 
рется потому, что вследствие дискретности частоты точ- 
ные равенства, как правило, недостижимы. Для опреде- 
ления соответствующего доверительного интервала 


А (Р)={р: а. (р) <Р <. (р)} достаточно найти его гра- 
ницы путем решения неравенств а. (р) < Ри Р<Ь, (р) 
относительно р. Вместо этого обычно пользуются сле- 


дующим графическим построением. Определив аз (р) н 
р. (р) для каждого рЕ(0, 1), строят в координатах (р, р) 


—^ 


кривые р=а« (р) и р=6а (р) (рис. 26). Эти кривые при 
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каждом значении р определяют на соответствующей вер- 
тикальной прямой интервал До (р) = [а- (р), 6. (р)). Оче- 


видно, что, и наоборот, при каждом значении р частоты Р 
эти кривые определяют на соответствующей горизонталь- 
ной прямой интервал А «(р)={р: РЕ[ач (р), 6 (р))\, пред- 
ставляющий собой реализацию доверительного интервала 
А.(Р), соответствующую данной реализации р частоты Р 
(рис. 26). “ 

В силу дискретности частоты кривые р=а, (р), 


р=ь.(р) являются ступенчатыми, причем высоты всех 
ступенек равны [/п, а ширина каждой ступеньки равна 
длине соответствующего интервала значений р, при ко- 
торых ас (р) сохраняет постоянное значение до очеред- 
ного изменения скачком на 1/й. Однако для простоты 
их обычно заменяют непрерывными кривыми. Графики 
для определения доверительных интервалов при оцени- 
вании вероятностей для &= 0,95 и а“=0,99 были по- 
строены Клоппером и Е. Нирсоном [37]. 

3.3. Приближенное определение доверительных интер- 
валов. При большом числе опытов п (практически при 
п >100) определение доверительных интервалов для р 
существенно упрощается. Как показано. в примере 5.46, | 
распределение случайной величины У =Уп(Р— рУ/У Р4 = 
= (Х =_пр)/И пра стремится к нормальному распределению 
М (0,1) при п сю. Вследствие этого биномиальное 
распределение при достаточно большом числе опытов п 
как угодно мало отличается от нормального. Это дает 
возможность при больших ‘п пользоваться нормальной 
функцией распределения вместо точной биномиальной 
для приближенного определения доверительных интерва- 
лов для вероятности. | 

> Предположив, что частота Р распределена нор- 
мально, в силу симметрии нормального распределения и 
формул (7) получим 


а» (р)=р—еа У рд/п, Вы В - &« У рам, 


где г„ определяется в силу (3.93) уравнением 


Р(|16-—р1 < У 9 ) =) =“. = (10) 


Практически корень &„ уравнения (10) определяется по 
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таблице 3*). Поскольку е„ не зависит от р, кривые 
р=ав (р) и р= О (р) в этом случае представляют собой 
части эллипса п(р— р) =е2р(1-—р) с центром в точке 


р=р=1/9, касающегося вертикальных прямых р=0и 
р=1 (рис. 27). Доверительные границы Р,, Р, в этом 
случае легко находятся из уравнения эллипса путем ре- 
шения его относительно р: 


_ Р-- га/2т Е 
= 1 2с/п — тра т И = т р. 


Пример 5. При 100 опытах событие А появилось 68 раз. 


Таким образом, частота Р события А приняла значение 0,68. Найдем 
доверительный интервал для вероятности р=Р (А), соответствующий 
р коэффициенту доверия &=0,95. Так 
р как число опытов п в данном случае 
г -+ велико, то можно считать, что часто- 


та Р распределена приблизительно 

° нормально, и применить упрощенный 

метод. В соответствии с (10) находим 

по таблице | функции Лапласа Ф (и) 

значение &= аргумента и, при кото- 

ром она равна 4/2 =0,475; получаем 

о, = !,96.После этого по формулам (11) 

И находим Р, = 0,583, Р.=0,763. Таким 

В =4 (р) образом, доверительным интервалом 

для вероятности р =Р (А), сеответст- 

2 04 0465 498 / р вующим коэффициенту доверия @&= 

—= 0,95, в данном случае служит интер- 

Рис. 27. вал (0,583; 0,763). Этот интервал пред- 

ставляет собой реализацию случай- 

ного интервала (Р\, Р.), с и © = 0,95 содержащего неиз- 
вестную кр тНоСВ р=Р (А). | 


Вторая формула (7) показывает, что среднее квадра- 
тическое отклонение частоты обратно пропорционально 
Уп. Следовательно, точность оценки вероятности повы- 


шается с увеличением числа опытов пропорционально Уп. 
Как мы увидим дальше, эта закономерность распростра- 
няется и на моменты первого и второго порядков слу- 
чайных величин. 


*) При вычислениях на ЭВМ для определения &о можно поль- 
зоваться программой сбращения нормальной функции распределения 
МОТЕГ [94]. 
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$ 4. Оценки математического ожидания 
и дисперсии случайной величины 


4.1. Оценка математического ожидания. Естественной 
оценкой математического ожидания случайной величины Х 
служит среднее арифметическое ее экспериментальных 


значений Х,!, ..., А, (выборочное среднее). 
х--У хо. (12) 
= 


№ Чтобы исследовать эту оценку, воспользуемся фор-. 
мулами для математического ожидания и дисперсии сред- 
него арифметического, полученными в примере 3.12: = 


МХ=т,, РХ=7=. (13) 


Отсюда следует, что выборочное среднее случайной ве- 
личины с.к. сходится к ее математическому ожиданию 
при П— <. Но из с.к. сходимости вытекает сходи- 
мость П.В. | 

Таким образом, мы доказали теорему Чебышева: ‘вы- 
борочное среднее случайной величины с конечными момен- 
тами первого и второго порядков сходится п.в. к ее ма- 
тематическому ожиданию при неограниченном увеличении 
числа опытов п. 

На основании теоремы Чебышева и первой формулы 
(13) выборочное среднее представляет собой состоятель- 
ную несмещенную оценку математического ожидания слу- 
чайной величины. 

4.2. Оценки дисперсии. Естественной оценкой диспер- 
сии случайной величины служит ее выборочная дисперсия 


р:=вУ(,-Ху. = (14) 


р Для вычисления математического ожидания и дис- 


персии этой оценки, учитывая, что МХ, =МХ=щ,, 
предо (14) в виде 


рту хз Зодут-2хь Хх | 


== У, (9 —(Х%. 


= | 
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Тогда будем иметь 


мр:-1У м (хм = 


== У. рх, Хер", 
Е=1 
Таким образом, 
мБ" = ВО < _ (15) 


Эта формула показывает, что О, является смещенной 
оценкой дисперсии О,`со смещением, равным —О,/п. 
№» Для вычисления дисперсии оценки Оу найдем сна- 
чала ее момент второго порядка МО’. Имея в виду, что 
| Е 
= Р (ху —— (У. (Хх (Х°*, 
-е 1 
п 2 | 
м| Зо -м, $ (хучу = 


= > МХ" > М(ХМ (= пы п (п 


Е=1 Е == 


м | *** 5 (ху | = = М у Х9Х} (Хх = 


К, =] 


= | мое У м (1 им (ху | = ыеО 


| Е == [ 
млм | Уж - 
=: У мо +3 м хм(х:| = ии, 


где и, =Д),, а и, — четвертый центральный момент вели- 
чины А, получаем после элементарных преобразований 


$2 ° —2 9 2 
МБ; = [ыыы 3—0. 


п? 


После этого "по формуле (3.29) находим 
БО = МО? —(МО*): = 
2 2 
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При выводе этих формул мы воспользовались независи- 
мостью результатов опытов Х., ..., АХ, и применили. 
теорему умножения математических ожиданий (п. 4.2.6). 

Формулы (15) и (16) показывают, что МО, —+0,, 
РО, —0 при п—+ с. Таким образом, оценка ПО, с.к. 
сходится к О,. Отсюда следует сходимость п.в. Дук О,,, 
т. е. состоятельность оценки О». 

№ Чтобы получить несмещенную состоятельную оценку 
дисперсии О,, достаточно, как это видно из (15), умно- 
жить оценку О, на п/(п— 1). В результате получим оценку 


д 1 а = | 
Р.=;— >. (Х„—Х). | (17) 
Дисперсия этой оценки в силу (16) определяется формулой 
| ры Иа — 2 —2 (6—2), м За и — Зи2 (18) 


(п— 1)? (п— 1): в 


В частном случае нормального распределения случайной 
величины А, как было показано в $ 3.6, р, = Зи и фор- 
мула (18) принимает вид 
ыз 8 - Е 
20х 
РБ. = ==. < (19) 
Для сравнения вычислим средний квадрат ошибки 
смещенной оценки 0), дисперсии О, для случая нормаль- 
ного распределения Х. В. этом случае, учитывая, что 
м. = Зи =30%, из (15) и (16) получаем 


М(р;— 2, = [Мф Ьр = 0. 


Отсюда видно, что смещенная оценка Г» точнее несме- 


щенной оценки О,, так как (2и —1)/1? < Эт < 9/(п—1). 
4.3. Доверительные интервалы для математического 


ожидания. Задача определения доверительных интервалов 


для математического ожидания и дисперсии для произ- 


мальн еленной случайной величины Х. _ 

> Если дисперсия Г), известна, то доверительный ин- 
тервал для математического ожидания находится очень 
просто. Для этого достаточно заметить, что среднее. ариф- 
метическое Х как линейная функция нормально распре- 
деленных случайных величин распределено нормально. 
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Поэтому на основании (13) и (3.93) 


Р (|Х—т, | < в У =) =2Ф(е.). 


Определив ва Из условия Ф (2.,) = 9/2, получим довери-_ 
тельный интервал для т,, соответствующий РОииИ: 
енту доверия ©, в виде 


ей Ит< и, <Х+ь, и *.< (20 


При большом числе опытов ий этот метод можно при- 
менить для приближенного определения доверительных 
интервалов для т. при любом распределении величины Х, 


так как при болышом п распределение величины Х стре- 
мится к нормальному ($ 5.4). 

Оценивать математическое ожидание ` при известной 
дисперсии приходится при измерении какой-либо вели- 
чины прибором, точность которого известна. В этом случае 
математическое ожидание результатов измерений равно 
сумме измеряемой величины и систематической ошибки 
прибора, а ОЕ рОИЯ равна известной дисперсии ошибки 
прибора. : 

№» Для нахождения доверительного интервала для 
математического ожидания т, в случае неизвестной дис- 
персии ДР, обычно пользуются ` третьим методом п. 2.4. 
Введем п-мерный вектор результатов опытов И =|Х....Х„|7 


и величину 5 =(0ТИ —п/Х?. Покажем, что случайная ве- 
личина 


ТУ 


представляет собой стьюдентово отношение р 5.12). 
Для этого заметим, что при любом а 


хо, —Х) = ря —а—(Х—а)р= 
= ь (Х,—а)*—2(Х—а) У (Х,—а) +п(Х—а} = 


[ 


= УХ, ап (Ха 


Так как 
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Положив в полученном равенстве один раз а=т,, а дру- 
гой раз а=0, получим 


Хи, -Х- Уп = Х Хи» 
откуда следует, что 
"—15,- У (Х,—Х) = 00° —п (Х°)? = 
| = 0тИ—пХ?=5. 


Это равенство показывает, что величина э выражается 
через центрированный вектор (° так же, как и в при- 
мере 5.12, что и доказывает наше утверждение. Следо- 
вательно, величина Т имеет ТГ-распределение с Е=п— | 
степенями свободы, определяемое плотностью 


АЕ Ще 
г) 


г (-— : 
ТИС вЫЬ я) ё 


Так как это распределение не зависит от неизвестных 
параметров т,, О,, то величина Т может служить в ка- 


честве функции «9 (6, 5, 0) п. 2.4: 
Х—т, 
Т=Ф(Х, о: т.) =Уп(и— Пух. 


Согласно п. 2.4 доверительный интервал для. т, опреде- 
ляется теперь рено. | 


ИУти-п-^- та =^ | Зе» (21) 
уз. 
Где &„ определяется уравнением 
о? 
РТ | < га) = $, (в) =2 \ $, (И @=а. (22) 


0 


Практически г„ находится непосредственно по таблице 
по данным РА и о (табл. 3). 

Чтобы преобразовать полученный доверительный ин- 
`Ттервал для т, к более удобному виду, заметим, что по 
доказанному выше | 


$=(п—1рВ,.. (23) 
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Подставив это выражение в (21), получим 


|Х—т,| <= И 2%, 
| п 
ИЛИ 


Хе. У 25 <п.<Х+. У. 69 


В таком виде обычно и записывается доверительный ин- 
тервал для математического ожидания случайной вели- 
ЧИНЫ. 

При больших Е Т-распределение мало отличается от 
нормального. Действительно, 


п$, (Р) = шс,— АИ пп (1+3 г) =т—9+0 (+), 


где ый множитель в $,(1). Отсюда видно, 


что 
1 


5, (1 =, [т "чо (+) | 


и, следовательно, $,(Р) —(2л)-!/е-"!? при Е с 
(с, —(2л)-\?, так как $,(Г)— плотность при любом К и 
сходимость второго множителя к е-"#/? равномерна на 
любом конечном интервале). < 

Таким образом, при больших Е (практически при 
Е >> 120) величину #« можно определять, как и при оценке 
математического ожидания при известной дисперсии, из 
условия Ф (#.) =@/2, пользуясь таблицей 1 В Лап- 
ласа *). 

4.4. Доверительные интервалы для дисперсии. Для 
нахождения доверительного интервала для дисперсии О. 
обычно пользуются первым методом п. 2.4, применяя 


его к оценке УБ, среднего квадратического отклонения 


о.=УИД... = 

№ Так как величина 0 = Х°//Д. имеет нормальное 
распределение М (0, 1), то согласно результату примера 
5.34 величина | 


2=5/0,=(ИТИ—пХ*)/О, 


*) При вычислениях на ЭВМ для определения га» можно поль- 
зоваться программой обращения нормальной функции АпредееНиЯ 
МОТК! [94]. 
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имеет 7*-распределение с А = п— 1 степенями свободы 


=--1 -> 


ре) = а в . 1 (2). 
г (>) | 


Поэтому, учитывая, что согласно (23) О./р,=5 ЕО) = 
— Й/К и» следовательно, 


Ре 
ты <уй <ь)= 


|: 
= (пес ке" 2 (1 рык 


где через (1—=.). для краткости обозначена величина 
тах (0, | —2„), получим для =. уравнение 


| Б; | 
р(е=<У и <а=ку)- 


(1-20)+ | 
== ( дааа. (25) 
по 
(1+2)? 
Отсюда находим доверительный интервал для среднего 
квадратического отклонения и дисперсии: 


пах (0, 1—г-) / Б, < ИБ, < 1+5) Б,.. 4 (26) 


Для определения в, удовлетворяющего уравнению (25), 
составлена таблица значений га в зависимости от К и & 
(таблица 4). 

#№ При больших РЕ х-распределение близко к 

М (УЕ — 12, 1/2). Чтобы доказать это, достаточно пока- 
зать, что распределение величины Т = УЕ И2Е—1 
стремится к № (0, 1)* при А —* со. Пользуясь формулой 
(5.31), находим плотность величины Т: | 


Б®-ечУ Е =) р (ЕК) - 
| 1 (чур 


(Е 2 ие в | 
мт (#) | 
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Отсюда находим 
шр(= ша, + (Е — 1) ш 1-Е) — 
(И-П = ша (2—1) + 
| { а 
И ВА И 


вы] 1 1 
тен Е 


=иф, — 5 [+ т) -+0(#- 1/2), 


= пь, + — Е 


где через а, обозначен для краткости постоянный множи- 
тель в выражении плотности }, (1), а пб, —сумма всех 
постоянных, полученных в результате произведенных 
преобразований. Из полученной формулы видно, что 
Е, (1) —* (2л)-1/?е-#!? при Е —+ со, что и доказывает наше 
утверждение. Практически можно считать величину | 7 
распределенной нормально при К >> 30. В этом случае 
целесообразно отказаться от симметричного относительно 
оценки УБ. доверительного интервала и взять симмет- 
ричный интервал для статистики Тт=и 97 ИЕ —1. 

Тогда, определив го, из уравнения Р (|Т | < =.)= -Ф (а)=“@ 
и имея в виду, что |[|<е„ при 


2—1 — 2. )? 9—1 ы 
(У 24 — р 1 ео 


т.е. при. 


в В тк 
Уж — х У 2ь 


получим доверительный интервал для О, в форме 


| ГБ, р 
И2Е—1- га И—1—е _ 
Оценка, распределение которой стремится к нормаль- 


ному при неограниченном увеличении числа опытов п, 
называется асимптотически нормальной. Таким образом, 


< Ир, < (27) 


мы показали, что оценка УБ. среднего квадратического 
отклонения асимптотически нормальна. 


242 
Е. 3 


2 


3 


4.5. Доверительные области для математического ожи- 
дания и дисперсии. Мы нашли доверительные интервалы 
для математического ожидания и дисперсии по отдель- 
ности. Однако при совместном оценивании математиче- 
ского ожидания и дисперсии нас интересует вероятность 
того, что оба параметра т, и Ш), будут заключены 
в соответствующих интервалах. Иными словами, нас 
интересует доверительная область для двумерного век- 
торного параметра (т.,, ).). Чтобы найти такую область, 
воспользуемся вторым. методом п. 2.4. 


й 
2) | 6) 
Рис. 28. 


» Зададим область О. (0) = О. (т,, О,) на плоскости 
(Х, ИБ.) в виде прямоугольника (рис. 28, а) 


р. = ((Х, 5.): Хи, [< И 2=, ИР 


п ? 1-- да 
а <}, 
тя 


где (1—0). = тах (0, 1—6). Тогда область 
А. (6)={(т,, 2,): (Х, Б,) ЕР. 6} 
определится формулой | 
Ш . х Б: 
А. (6) = (т, В: [т.—Х| <, У 2, 
(—5.), ИБ, < УР, < 1+8) У 5,1. (28) 


Эта область представляет собой трапецию (рис. 38, 6). 
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Чтобы найти вероятность Р((Х, В.) ЕО. (6)), воспользу- 
емся тем, что при нормальном распределении наблюдае- 


мой случайной величины Х статистики’ Х и $9 незави- 
симы (пример 5.13). Так как Х имеет нормальное рас- 
пределение М (1., )./п), аб = 5/0. = р ./Р.—у?-распре- 
деление с А=п— 1 степенями свободы (пример 5.34), то 


Р(Х, РоЕР. ®)=Р (| Х—т.| < 


Ох 
<: У =) т УВ << д < ат) (а) Г (а). 


Определив =, и 6б.„ из уравнений. Ф (==) =сУ а, 
Г, (6) = У  [с, где с— произвольно выбранное число, 
найдем по формуле (28) доверительную область вектор- 
ного параметра (т,, 0), соответствующую коэффициенту 
доверия ©, и можем быть уверены, что в среднем 
в 100%% случаев точка (т,, ИО.) будет находиться 
в найденной области А. (9). 9 


Пример 6. По данным экспериментальным значениям слу- 
чайной величины Х, полученным в результате 20 опытов (по вы- 
борке): 8, 42, 22, —40, 18, 38, 2, —16, 34, 6, 54, 20, 74, 0, 4, —28,. 
36 44, 16, 94 — найти оценки и доверительные интервалы для ту и 
В соответствующие коэффициенту доверия &==0,95. 


По формулам (12) и (17) находим оценки тх, р» и о. =УД.: 


= 13 д —20. 
а д 756, 84, 


б, = И 756,84 = 27,5. 


По данным Ё=п—1=19 и &«=0,95 находим по таблицам Зи 4 
8а =2,09 для ШТ; И а =0,380 для р После этого формулы (24) 
и (26) дают доверительные интервалы для ту; и Ох: 


5,4 < т, < 30,4, 17,0 < У, < 38,0. 


Для ие доверительной области для векторного пара- 
метра (тх, О.) находим по таблице функции Лапласа | и по таб- 


лице 4 го =2,23, да =0,464 из условий ЭФ (г. ) = Уа=0,974, 
[+ (ба) = ИУа=0,974. После этого по формуле (28) находим довери- 
тельную область 


17,9—0,499 УД, < м, < 11,9- -0409 УЗ, 14,7 < УД, < 40,3. 


На рис. 29 изображена эта трапеция. Для сравнения показан пря- 
моугольник, образованный ранее найденными и доверительными интер- 
_ валами для ту и Ох (заштрихован на рис. 29 | 
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Для сравнения найдем прямоугольную доверительную область 
с коэффициентом доверия не меньше &=0,95. Согласно п. 2.4 для 
этого достаточно найти по формулам (24) и (26) доверительные 
интервалы для т, и Ох, соответствующие коэффициенту доверия 
и =1— (1—9) /2 =1—0,05/2 = 
= 0,975. В результате получим 


41 < м, < 31.7, 
14,5 < У, < 40,5. 


Эта прямоугольная доверитель- 
ная область показана на рис. 29 
пунктиром. 


4.6. Оценки моментов. . 
На основании результа- 
тов, полученных для ма- 
тематических ожиданий, 
состоятельной несмещен- 
ной оценкой момента лю- 
бого порядка служит сред- 
нее арифметическое зна- Рис. 29. 
чение соответствующей | 
степени случайной величины *). Однако точное опреде- 
ление доверительных интервалов для моментов оказы- 
вается трудной задачей. Для приближенного определе- 
ния доверительных интервалов ‹ при болышом числе 
опытов обычно пользуются асимптотической нормаль- 
ностью оценок моментов. На основании центральной 
предельной теоремы ($ 5.4) распределение оценки мо- 
мента любого порядка как суммы независимых случай- 
ных величин при достаточно большом .числе опытов как 
угодно мало отличается от нормального. Поэтому, зная 
математическое ожидание и дисперсию оценки момента, 
можно приближенно определить - доверительные интер- 
валы. Математическое ожидание оценки момента равно 
самому моменту в силу несмещенности оценки. Нахож- 
дение дисперсии оценки не представляет никаких прин- 
ципиальных трудностей, хотя и сопряжено с громозд- 
кими выкладками. 


‚ *) Для вычисления оценок математических ожиданий, диспер- 
сий, средних квадратических отклонений, третьего и чётвертого 
центральных моментов, коэффициентов асимметрии и эксцесса, 
а также коэффициентов корреляции (п. 5.2) на ЭВМ в [94] служит 
программа М!$К. 
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$ 5. Оценки математического ожидания 
и ковариационной матрицы случайного вектора 


5.1. Оценки ковариации и коэффициента корреляции. 
Результаты $ 4 позволяют находить оценки и довери- 
тельные интервалы для математических ожиданий и 
дисперсий координат случайного вектора, рассматривае- 
мых по отдельности. Чтобы научиться оценивать ковариа- 
ционную матрицу случайного вектора, остается рассмот- 
реть оценки ковариаций. 

На ‚основании сказанного в п. 1.2.9 естественной 
оценкой ковариации случайных величин Хи У служит 
их выборочная ковариация 


к-т (х.—Х) (у, Я, (29) 


где Х,,У,,..., А», У, случайные результаты опытов, 
а Х, У— выборочные средние величин Х и У. Совер- 
шенно так же, как для оценки О, дисперсии О,, нахо- 
дим МК» =(п—1)Е,,/п. Отсюда видно, что К‚,—сме- 
щенная оценка со смещением —#, „т. Чтобы получить 
несмещенную оценку о достаточно умножить К,, на 
п/(п —1). В результате получим 


ко = Хх, 0,-). (30) 


Дисперсия“ этой оценки выражается через центральные 
моменты р,. случайного вектора {Х, У}: 


= п (р22— )  Зр— ИзоНо — За 
В и 


12 — | = 
и я И 11 , (31) 


Эта формула выводится совершенно так же, как (18). 
В частном случае нормального совместного распределе- 
ния величин Х и У четвертый. момент п,, выражается 
через элементы ковариационной матрицы п», = лом» 
+2, =Д, р; и+2Ез, (п. 4.5.3), и (31) принимает вид 


г) р хВи-- | 


РК = М, (32). 
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На основании (17) и (30) оценку коэффициента кор: 
реляции ^,, величин Х и У определяют формулой 


п 2 
ыы Р Я и 
дао Кхи ВИ =] | 
В: (33) 
У, УЕ - У 

=] 


5.2. Оценки математического ожидания и ковариа- 
ционной матрицы. Полученные результаты дают оценки 
математического ожидания и ковариационной матрицы 
любого случайного вектора. 


№» Пусть Х — т-мерный случайный вектор, Х.,..., Х/— 
его экспериментальные значения, Х‚1,..., Х„»„ —коорди- 
наты вектора Х, (Е=1,..., п), Х — выборочное среднее 
вектора АД: 

п | , 
Х= >. Хь. (34) 
Е 


Введем матрицу О, строками которой служат векторы 
17 *°°» Ап. 


Х\1 


: Хил ‚ Х1э ооо Х1т я 
(= м тете . ® . ° ® ® . м ы ® (35) 

ы Х 1 Х из Хпт 
Хп 


Тогда в силу равенства 
Хх (Х „„—Х р) (Х ка = 2, Хы-пХ,Х = 
2 (\„„—т) (Х„— т.) —п(Х,—т,) (Х.—то), (36) 


которое выводится совершенно так же, как аналогичное 
равенство в п. 4.2, определим оценку ковариационной 
матрицы К, формулой | 

р 5 ИТИ — пххт 

К; = =————_. (37) 


п— | п— | 


Таким образом, оценкой математического ожидания т, 
случайного вектора Х может. служить его выборочное 


среднее Х, а несмещенная оценка его ковариационной 
матрицы К, определяется формулой (37). < 
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5.3. Доверительные сбласти для математического ожи- 
дания. Осталось научиться определять доверительные 
области для математического ожидания и ковариацион- 
ной матрицы случайного вектора. 

№» Найдем сначала доверительную область для век- 
тора т,. Для этого применим третий метод п. 2.4. Со- 
гласно результатам примеров 5.15 и 5.25 статистика 


БТИ (ХТ тр) 3-1 (Х —т,) 


имеет Р-распределение 


т, п-ш (Г) = . | 
("у Г | то 
= г (>) г (^5" ==)" М р) 


Эта плотность не зависит от _- неизвестных параметров 
т; и К,. Поэтому функция 


ф (Х, 5, ту) = рт (ХТ—тТ) $ -* (Х—т,) 


удовлетворяет всем требованиям п. 2.4, и доверительная 
область для т, определяется ИН 


(ХТ—тТ) 5-1 (Х —т,) < (38) 


Е т) Га, 
где /«—верхняя 100(1—9“)-процентная точка Е-распре- 
деления |„.„-п, определяемая уравнением 


м 


РЕ<Ь= Е, ,-и (в) = ) и. (Э4=о. (39) 


Для определения [» по данным @, [=ти А=п—т 
составлены таблицы [117] (таблица 6). 
`Уравнение 


(ХТ 1) 5-Х 


в координатах & определяет Че» эллипсоид (эллипс 
при т=2) с центром в случайной точке Х, случайные 
размеры -и направления главных осей которого опреде- 
ляются матрицей © и числом `{[«. Доверительная область 
(38) представляет собой множество. внутренних точек 
этого случайного эллипсоида. Из (39) следует, что этот 
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эллипсоид накрывает неизвестную точку т, с вероят- 
ностью ©. < 

5.4. Распределение выборочного коэффициента корре- 
ляции. Перейдем к определению доверительных интер- 
валов для коэффициентов корреляции. Из результатов 
примера 5.18 следует, что в случае нормального распре- 
деления вектора Х случайная матрица $ имеет распре- 
деление Уишарта, определяемое плотностью 


п-т-а 


=————— 


|3] * ехр|— у (КИЗ | 
(2т [К;|) * 


в области положительно определенных матриц $ и 
шп ($) =0 вне этой области. Для определения довери- 
тельного интервала для коэффициента корреляции доста- 
точно рассмотреть случай двумерного вектора Х, т=2. 
В этом случае совместная плотность элементов 511, &,,, Э2 
матрицы $ определяется формулой 


> ($11? б12, $2) = | 
п-4 


(ибнсеы) *_ Е р 22 | 
Е. КЕЗО т 22911 — 2 9512 Е 11822) , (40) 
4л (п—З! А ? | 


где для краткости положено А=А А. —Е?.. Области 
симметричных положительно определенных матриц в трех- 
мерном пространстве с прямоугольной системой коор- 
динат (511, $15, 55) соответствует область, ограниченная _ 
половиной конуса, определяемая неравенствами $11» 55>22 0, 
$12 < 5115... Вне этого конуса в, ($11» $1», 552) = 

№ Чтобы найти распределение оценки (33) коэффи- 
циента корреляции, заметим, что Рае Эно вслед- 


ствие чего плотность [,(р) оценки. В., можно определить 
по формуле (5.32): 


© > | | 
)=\ №. 2 (51, о И 51152 51) 4511 5.2. 
00 


Подставив сюда выражение (40) и вводя новые перемен- 
ные интегрирования х= $:1/Ё,1, И=,./Е,., получим после 
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несложных преобразований 
| п-4 
_(1— р?) * 
[„(р) = В РЕ. 
4л (п— 3) 1 (1—2?) 2 


© © п-3 ы о 
о —2 у 
х | | (ху) *? ехр В ах ау. 
00 | 


> 
Замена переменных у=х фе? ф дает 


п-4 


ее 2) 2 
= х 


ит 


2л (п— 3)! (1 го 


д/з 
{ап - 2ф а : 
х и вЫ о ехр|— о ааеых |. 
0 ы 


со$? ф 2 (1 —/?) соз? 


Приняв за новую переменную интегрирования # во внут- 
реннем интеграле модуль аргумента показательной функ- 
ции вместо х, найдем 


=) 
1 —гозт2ф _ 
—2 о а ыы, ИЕ 
\ = ехр{ вон хе 
) | 


И а 
ай в 


9п- 1(1—/2)"- 1 с0$2"- 2 


ф 
(1—ир $1 2ф)1-1 (п—2)!. 


Подставив это выражение в предыдущую формулу, по- 
лучим 


р, (р) ==— 


п-1 п-4л/2 


ты п”-29фа 
м а тя 
0 
п- 


(1— гр т 2ф)"-т 


п-4 


| : зт”- 20 40 
м "а —2*) ° а р п 9)"-1 ° 


Наконец, принимая во внимание, что $9 =зш(л — 6), 
приведем полученную формулу к виду 


п-1 п-4л/2 
п и-20 40 


=") * 4—р * сы <(41) 


Эта формула, ‘определяющая плотность выборочного 
коэффициента корреляции, получена Фишером [110]. 
Интеграл в (41) вычисляется элементарно (например, 
подстановкой и=\5 (9/2)). Однако при этом получится 
очень громоздкое выражение. Чтобы получить компакт- 
ную формулу, выведем, следуя Фишеру, рекуррентную 
формулу для интегралов 
л/2 
] (2) = 1п”- 20 49 
е : (1 — 231 0)"-1 * 


> Дифференцируя эту формулу по г, получаем 


л/2 ‘ 
ь 117-10 40 
(аи) | пива = нь (2). 
| 0 


Отсюда следует, что [,(2)= /„_1 (2)/(п —2). Это и есть 
искомая рекуррентная формула. Применяя ее, находим 
Г. (г) = [17° (г)/(п —2)1. 

Таким образом, задача свелась к вычислению интеграла 


л/2 


49 


|1 — 250 ° 


Подстановкой  и= {о (0/2) и соответственно з1т0= 
=2и/(1 - и*), 49 = 24и/(1 - и?) после элементарных триго- 
нометрических преобразований получаем 


л/2 


49 _ агссоз агссоз (— 2) - 
О 
: 251 Ия. 22 


Таким образом, 


4"? агссоз (—2) 
1. (2) = ата 42-2 ув * 


Подставив это выражение в (41), получим формулу 
Фишера | 

| 1 из. 
о) = ии (1—"") * @— р) * Хх 


4"-?  агссоз (— го) 
Хар уленя "+ 9 
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Ясно, что все написанные формулы для },(0) опрё- 
деляют [,(о0) только в интервале |[—1,1]. Вне этого 
интервала |, (0) == 0. 

5.5. Доверительные интервалы для коэффициента 
корреляции. Для определения доверительного интервала 
для коэффициента корреляции г обычно пользуются 
вторым методом п. 2.4, совершенно так же, как это де- 
лается для неизвестной вероятности (п. 3.2). 

Определив при каждом значении гЕ (—1, 1) интервал 
Оо (г) = (@« (г), р. (г)) из условия 


Р(В < а. ()) = РВ (1) =, = (43) 


строим на плоскости (г, г) кривые г==аа (г) _и = (г) 


ори 30). Эти кривые при любом значении г оценки Ю 
коэффициента корреляции 
определяют соответствую- 
щую реализацию До (г) = 
=": а (г) < г < 84 (7}} 
доверительного интервала 
А. (Ю) для г, соответству- 
ющего коэффициенту дове- 
рия @& (рис. 30). Практи- 
чески кривые г=аа (г) и 


г=. (г) можно построить, 
пользуясь таблицами функ- 
ции распределения ве- 


личины В 


Е, (г) = \ [, (р) 4, 
= 1 | 


Рис. 30. 


которые составлены Дэвид [26, 27|. 

Для приближенного определения доверительного ин- 
тервала для г можно воспользоваться тем, что,. как за- 
метил Фишер, ЕС а величины 


5 (44) 


т —- 


даже при небольших значениях п близко к нормальному 
распределению 


| ны ] 
№ (171 В, 3). 
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4. Деы. илл 


Гра содааалел аа 7. 


ша. оли ИЫ ЗВ оби „ФВ 


Дэвид исследовала точность приближения распреде- 
ления величины 2 к нормальному и рекомендует поль- 
зоваться приближенным нормальным распределением для 
& при п>25, отбрасывая при этом слагаемое г/2 (п— 1) 
в выражении математического ожидания величины @. 
Тогда, определив 2 из условия Р (|2 —т,| < „Уп —3)= 
=2Ф(2.)=о, ‘получим приближенный доверительный 
интервал для чи корреляции г в виде 


1: № 2, т 1, 1+ Б 2 
ро о ===. 
2 1_А И 2 —й `Уя=8. 

Отсюда, имея в виду, что функция 
| Ни 1-х 
= Шт 1-х 


монотонно возрастающая и обратная функция опреде- 
ляется формулой 
2—1 
— @У--| . 
преобразуем доверительный интервал для г к виду 
И ЕН. ео, ОВК 2 
8. [= Ш ——— г < Ш м]. 
(5 1—-А  Уп—3 уе) < ы ‚(2 1 —А У) 
(45) 


5.6. Доверительные области для ковариационной ма- 
трицы. Для определения доверительных областей для 
ковариационной матрицы в т (т - 1)/2-мерном простран- 
стве можно применить второй метод п.2.4. 

Пользуясь распределением Уишарта (5:21), выбираем 
для каждой данной матрицы К, область О.(К..), веро- 


ятность попадания в которую оценки К,=5/(п—1) 
‚ равна ©: 


= ПИ, 


РСК, ЕР» (К,)) = \ ш„() @=а. 

‚ Ра (К, | 
Тогда множество матриц К,‚, для которых данное зна- 
чение К, принадлежит РБ. (К,), А(К,)={К,„: К, Е Ба (К, )}, 
будет доверительной областью для К,, соответствующей 
коэффициенту доверия &. Область ВР. (К,) можно задать 
в виде прямоугольника (параллелепипеда) в т (т - 1)/2- 
мерном пространстве. Стороны этого прямоугольника по 
осям АК,„, можно выбрать так, как мы выбирали их 
в п.4.4 для дисперсии. 
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> Чтобы найти совместную доверительную область 
для вектора т, и матрицы К, (в т(т--3)/2-мерном 
пространстве), воспользуемся тем, что при нормальном 
распределении наблюдаемого вектора Х вектор Х и ма- 
трица $ независимы, причем Х имеет нормальное рас- 
пределение №М(т,, К,/п), а 5 —распределение Уишарта 
и„„ ($). Будем искать область О. (т,, К,) в виде 


{(Х, К»): п(ХТ—тГ) К (Х—т,) «аа, 
а. (К,) < К, < В» (К,)} *). 


Тогда будем иметь 


Р((Х, К)ЕБ.(т,, К,))=Р(и(ХТ—тТ) Кл (Х—т,) < 
<.) Р(п— Па (К,) <$<(п—1 8. (К.). 
Определив и, а«(К,) и В. (К,) из уравнений _ 
Р(п(ХГ— тт) К; (Х—т,) < г) =сУ а 
Р(п— 14 (К) <$<(и—П(К,))= уз 


получим доверительную область для (т», К в виде 


А. (Х, К,)={(т,, К): п(тЁ—ХТ)Кр(т,-—Х) а, 
а» (К,) <К, < (К,)}. 4 


Пример 7. В результате 20 опытов получена выборка для 

а: случайного вектора {Х, У}: 
и О, ([-2, —3), (2, — 1), (—30, —21, (9, — 2), 

(15, 10). ны 10, 0), (—-2, —10), (1, 18), (И,— 13), (—24, — 12), 
(—8, —2), (27, 18), 6, 5), (-8, -9, (—6,10), (0,—6), (17,4), 
(— 18, —20) | 

Найти оценки математических ожиданий, дисперсий, ковариации 
и коэффициента корреляции величин Х, У, доверительную область 
для вектора математического ожидания, доверительные интервалы 
для дисперсий и коэффициента корреляции и совместные доверитель- 
а для всех пяти параметров тх, т,,. Эх, Бу, г при 
9 —= 5, . з 
По формулам (12), (17), (30) и (33) находим оценки тх, ту, Па 
у Мху И Гху: / 


х=— 1,05, у=— 2,05, 4, = 511/19 = 194, 
ее ху = 512/192 111, 


г. 20,68, 
У 522 
где $11 =3681, $12.=2111, 55 =2583. 


*) Неравенства между матрицами, так же как и между векто- 
рами, понимаются как соответствующие неравенства для всех эле- 
ментов матрицы. 
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По таблице 6 находим для @=0,95, [=т=2, В=п—т=18 
значение /,=3,55. После этого формула (38) определяет реализацию 


‚ доверительной области для вектора [т, т„]Т как множество внут- 
ренних точек эллипса 
0,5113 (тх-- 1,05)2— 0,8358 (т. -| 1,05) (т,-+ 2,05) -- 

- 0,7287 (т, о 05)? = 19,72. 


На рис. 31 этот эллипс показан вместе со всеми экспериментальными 
точками. 


Рис. 31. 


Определив по таблице 4 значение =, =0,380 по данным @ = 0,95, 
Е=п—]=19, находим по формуле (26) доверительные интервалы 
для дисперсий координат случайного вектора: 


8,6 < УБ, < 19,2, 7,2 < УД, < 16/1. 


Наконец, определив по габлице | значение =„ = 1,96, для кото- 
рого 2Ф (=) =@=0,95, находим по приближенной формуле (45) до- 
верительный интервал для коэффициента корреляции: 


| 1,68 1,96 1 п. ‚68 
фе (+ п-т) <г< в (1 Пе 0 35 Ут). 
или, выполнив вычисления, 


0,338 < г < 0,862. 


Совместные доверительные интервалы для ту, ту, Ох, у иг, 
соответствующие &=0,95, согласно концу п.2.4 можно определить. 
как доверительные интервалы для каждого из этих параметров, 
соответствующие коэффициенту доверия @/=1— (1—0) /5 =0,99. 
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В результате получаем :. 
— 20,96 < т, <18,86, — 18,72 < т, < 14,62, 


_5,8 < УВ, < 22,0, 4,9 <УБ, < 18,5, 
0,200 < г < 0,895. 


Найдем еще совместные доверительные интервалы для величин 
тх и т,. Для этого следует определить ‘доверительные интервалы 
для каждой из величин тТх, ту, соответствующие коэффициенту 
доверия &@. = 1 — (1—0) 2 =0,975. В результате получим 


— 8,80 < т, < 6,70, — 8,47 < ту < 4,37. 


Для сравнения на рис. 31 показан прямоугольник, образованный 
совместными доверительными интервалами для ту и ту. 


_ $6. Проверка гипотез о параметрах распределений 


6.1. Задачи проверки гипотез. Задаче построения до- 
верительных областей для параметров распределений 
родственна задача проверки гипотез об этих параметрах. 
Из сказанного в п. 1.1 ясно, что никаких точных утверж- 
дений о параметрах распределения по результатам опы- 
тов делать нельзя. Можно лишь высказывать различные 
предположения о них — гипотезы. Задача проверки ги- 
потез состоит в том, чтобы установить, противоречит 
принятая гипотеза экспериментальным данным или нет. 

Возможны два основных Типа гипотез о неизвестных 
параметрах распределения. Гипотеза первого типа пред- 
ставляет собой предположение, что неизвестный параметр 9 
(скалярный или векторный) имеет данное значение, ска- 
жем 0,, или принадлежит данному множеству значений. 
Гипотеза второго типа состоит в том, что неизвестные 
параметры в двух независимых выборках (или в боль- 
шем числе выборок) имеют одни и те же значения. 
Яено, что гипотеза второго типа, по существу, представ- 
ляет собой предположение, что две серии опытов, в ко- 
торых . получены выборки, произведены в одних и тех 
же условиях, так как только при выполнении опреде- 
ленного комплекса условий в каждом опыте вероятности 
событий и характеристики случайных. величин имеют 
одни и те же значения во всех опытах. Характерной 
причиной изменения условий опыта часто являются 
различного рода дрейфы (тренды) — медленные неконтро- 
лируемые изменения различных величин, характеризую- 
щих условия опытов. При этом изменение величины 
считается медленным, если в течение любой одной серии 
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опытов ее можно считать практически постоянной и 
только в интервале времени между двумя сериями опы- 
тов ее изменение может быть существенным. Задача 
проверки гипотез второго типа в таких случаях пред- 
ставляет собой задачу обнаружения СТОНЫ дрей- 
фов за время между двумя сериями опытов. 

Алгоритм, в соответствии. с которым эксперименталь- 
ным данным ставится в соответствие решение принять 
или отвергнуть гипотезу, называется правилом решения 
или решающим правилом. 

6.2. Проверка гипотез о значении параметра. Задача 
проверки гипотез первого типа легко решается с помощью 
доверительных областей. Если данное значение 6, (дан- 
ное множество значений) принадлежит полученной реа- 
лизации доверительной области (имеет непустое пересе- 
чение с ней), то можно считать, что гипотеза не проти- 
воречит экспериментальным данным. В противном случае 
гипотеза отвергается. При таком решающем правиле 
вероятность отклонить гипотезу в случае, когда она 
верна, равна 1 —“. | 


Пример 8. В условиях примера 5 гипотезу о том, что вероят- 
ность события А равна 0,5, следует отвергнуть, так как точка 
р=0,5 не принадлежит доверительному интервалу (0,583; 0,763), 
соответствующему @&=0,95. Вероятность отвергнуть правильную 
гипотезу в данном случае равна 0,05. 

Пример 9. В условиях примера 7 гипотезу о некоррелиро- 
ванности случайных величин следует отвергнуть, а гипотезу о том, 
что коэффициент корреляции заключен в интервале (0; 0,5), можно 
принять, так как точка г=0 не принадлежит доверительному ин- 
тервалу (0,338; 0,862), а интервал (0; 0,5) пересекается с этим до- 
верительным интервалом. 


Другой подход к задаче проверки гипотез первого 
типа будет дан в 6 10.5. 


6.3. Проверка гипотез о совпадении значений пара- “ 


метра. Для решения задачи проверки гипотез второго 
типа часто применяется видоизмененный третий метод 
п. 2.4. Видоизменение состоит лишь в том, что вместо 
неизвестного параметра 0: в число аргументов функции 9 
включается его оценка по второй выборке. 


Пусть 9, и 0,— две оценки параметра 6, полученные 
по двум независимым выборкам. Предположим, что уда- 


лось найти скалярную функцию ф(©,, 0,, э) оценок 
0, 9, и некоторой статистики 9, обладающую следую- 
щими свойствами: 
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1) при любых фиксированных значениях 0, и $ вели- 


чин 0, и $ неравенство `ф (0, 8,, $) <с при возрастании 


с определяет монотонно возрастающее семейство вложен- 
ных одна в другую областей Д (@,, $, с) = 40. : ф (6, 6,,5) < с}; 
2) ‹б, 0, $)-=0 при любых 0; $ и Ф(6,, 6,, __ 


при любых 0,, 6,, $, 6, 26, (и, следовательно, точка 0, = 0, 
принадлежит области Д (6,, $, с) при любых с > 0, 6, и $); 


3) распределение случайной величины Т =ф(09., 69,, 5) 
в случае справедливости гипотезы не зависит от неиз- 
вестного параметра 0. | 


Тогда, определив бо из уравнения 
Р(Ф (0,, 0,, 5) < 6.) =, 


получим следующее правило решения, соответствующее 
коэффициенту доверия ©: если ф(60,, ©,, 5) 6%, то ги-. 
потеза не противоречит экспериментальным данным; если 
же ф(0,, 9,, 5) > 8, то гипотеза отвергается. При этом 
вероятность отвергнуть гипотезу в случае, когда она 
верна, равна. | —“. 

Применим изложенный общий метод для проверки 
гипотезы, что математическое ожидание случайной вели- 
чины одно и то же (неизвестное) значение в двух неза- 
висимых сериях опытов. Рассмотрим две серии незави- 
симых наблюдений нормально распределенной величины 
Х (или двух случайных величин Х, и Х,) с неизвестным 
математическим ожиданием т, и ковариационной ‘матри- 
цей К,. Гипотеза, подлежащая проверке, состоит в том, 
что т, предполагается одинаковым в обеих сериях опы- 
тов. Матрица К, при этом считается одной и той же 
в обеих сериях опытов. Пусть п, и п, —число опытов 
в первой и второй сериях, Х; и Х,—случайные выбо- 
рочные средние в двух сериях опытов, И; и И, —матрицы, 
столбцами которых служат выборочные значения наблю- 
даемого случайного вектора Х в двух сериях опытов, 


ба = И.ИТ—п,Х,ХГ= п, охот (Е = В 
Н=ы. -5.,, 


т — размерность наблюдаемого вектора Х. 
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Согласно результатам примеров 5.17 и 5.25 случай- 
ная величина 
в — 2] — —, _ — р 
(ХХ НХ, —Х, 


‘имеет Р-распределение {[м, п‚+п,-т-1(Р). Так как — 
распределение не зависит от неизвестных т, и А т 


функция 
Ф(Х,, Хь Нити ЕЯ Хх?) Н-1(Х,—Х,) 
1-Е 72) | 
удовлетворяет всем необходимым условиям. Поэтому 
можно принять следующее решающее правило для про- 
верки гипотезы о равенстве математических ожиданий 
в двух сериях опытов: если 
у у у у т (п -|- п> 
(ХТ ХР НХ, <, (46) 

где |„— верхняя 100 (1—-@)-процентная точка Р-распре- 
деления [м, п+п,-т-1, ТО гипотеза принимается; в про- 
тивном случае она отвергается. В первом случае гово- 
рят, что расхождение двух средних незначимо и может 
быть вызвано только случайностью результатов опытов. 
Во втором случае говорят, что` расхождение значимо и 
маловероятно, что оно вызвано только случайностью 
результатов опытов. Значимое расхождение указывает 
на возможность различия математических ожиданий 
в двух выборках (вследствие неконтролируемого разли- 
чия в условиях опытов). Величина }» практически опре- 
деляется по таблице 6 по данным @, [=ти в=п, + 
и, —т— 1. 

В частном случае скалярной наблюдаемой величины 
Х (т=1) можно преобразовать полученное, решающее 
правило так, чтобы вместо Ё-распределения пользоваться 
Т-распределением. На основании результатов примера 
5.14 случайная величина | 


т ЕН (1-Е й-— 2) (Х' —х,. 


(па-- 72) Но 
имеет Г-распределение а Так как это распре- 
деление не зависит от т, и О.=А,, то за функцию 


Ф(Х., Х,, Н) можно принять статистику Т. Тогда по- 
лучим следующее правило: если 


|, —Х,| а ЕЕ (п. 72) Н : (47) 


п1п2 (п. -- п — 2) 
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где №, определяется уравнением РИТ|<Ь)=а, то 
гипотеза принимается; в противном случае она отвергается, 
расхождение между двумя средними признается. значимым. 
Практически {»„ определяется по таблице 3 по данным & 
и Р=п.-й,—2*). Ясно, что (46) при т=1| совпадает 
с (47) (пример 5:15). 

Для дополнительного подкрепления решения о том, 
что расхождение двух средних незначимо, можно вычи- 
слить вероятность получения расхождения, большего 
чем наблюденное. В случае скалярной величины Х эту 
‘вероятность Р(|Т|>|{|), где Ё — полученная в резуль- 
тате опытов реализация величины Т, можно найти по 
таблице 3. Значение этой вероятности Р(ЁЕ > | в общем 
случае согласно результату примера 5.26 равно значе- 
нию функции распределения для В-распределения с па- 
раметрами р= (п, и, —тр—1)/2, да=т/2 в точке э=. 
= [1 + //(". + п, —тр—1)|7*, где — полученная в ре- 
зультате опытов реализация величины Ё **). 


Пример 10. В условиях примера 6 по второй выборке, содер- 
жащей результаты 30 опытов, получено среднее 23,5 и 5$5= 354. 
Проверить гипотезу о равенстве математических ожиданий в двух 
сериях опытов, приняв &=0,95. | 

В данном случае п1=20, п›о=30, т=1, х1=17,9, хо==23,5, 

== 14 380, 5›=23 354, И = $1 -|- 52==37 734, [,=2,013 и 


50.37 734 
20.30.48‘ 


„Поэтому гипотезу о совпадении математических ожиданий можно 
принять. Для подкрепления этого решения. найдем значение { ве- 
личины Т, полученное в результате опытов: 


20.30.48 
1 —= 50.37734 (17,9 — 23,5) х —0 ‚692. 


После этогу по таблице 3 находим для #=48 Р(]Т|[>0,692) =0,493. 
Таким образом, с вероятностью 0,5 можно получить еще большее. 
расхождение средних, чем наблюденное. 


- 


-—51=1179—28,5 15.6 < 2018 И 


6.4. Исключение аномальных наблюдений. Изложен- 
ный метод проверки гипотезы о совпадении математи- 
ческих ожиданий в двух выборках можно, в частности, 
применить для проверки гипотезы об аномальности на- 


*) Для вычисления величины Т для проверки гипотез’ о равен- 
стве т», данному числу и о равенстве двух математических ожиданий 
служит программа ТТЕЗТ [94]. 
`’ **) Для В-распределения функцию распределения можно вычи-. 
слить на ЭВМ по программе ВОТК [94]. 
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блюдения, давшего в результате изолированную точку, 
удаленную от группы остальных экспериментальных: 
точек. При таком «выскоке» экспериментальной точки из 
группы остальных точек естественно возникает мысль, 
что этот. «выскок» произошел из-за неконтролируемого 
нарушения условий опыта и поэтому «выскочившую» 
точку следует отбросить, признать аномальной. Ясно, 
что для ‘принятия такого решения нужны веские осно- 
вания. Так возникает задача проверки гипотезы об ано- 
мальности наблюдения. — 

Предположим, что в результате п-+-1 опытов одно 
значение случайной величины оказывается на значитель- 
ном удалении от группы и остальных значений. Без 
потери общности можно считать, что отклонение про- 
изошло в (п-+1)-м опыте. Для проверки гипотезы об 
аномальности значения х,., достаточно рассматривать 
его как вторую выборку, состоящую из одной экспери- 
ментальной точки х,„.:. Гогда можно будет применить 
изложенный метод. В данном случае п,=п, п,=1, 
Х, =Хь+1, 9, =0и (46) дает следующее решающее пра- 
вило: значение Х„., наблюдаемой величины Х признается 
аномальным и отбрасывается, если 

7; т 

(Х; —Х Их а — Ли+1) 2 | Н т , 
где „-—верхняя 100(1—@)-процентная точка Ё-распре- 
деления [и „_и ([); в противном случае оно учитывается. 

Точно так же в случае скалярной величины Х (47) 
дает правило: значение Х„., признается аномальным и 
отбрасывается, если 

1%. —Х»+: [2 ть, 
где {„ определяется по таблице 3 по данным @ и Ё =п—1; 
в противном случае Х„,, учитывается. 


Пример 11. В результате 21. опыта получены 20 экспери- 
ментальных точек примера 7 и еще одна точка (50, 40), удаленная 
от группы остальных. Проверить гипотезу об аномальности этой 
точки. | 

По. таблице 6 для “=0,95, [=т=2, ВР=п— т=18 находим 
[„=3,55. Так как 
[2 —х2 ры (х—х5)=[0,5113 (50-%1 ,05)?—0,8358. (50-1 05) (40-2 05) 

2.21 


--0,7287 (40-- 2,052] .10=35=0,827 > 3,55 + та 20,414, — 


| Т 
то точку хол =[50 40] можно признать аномальной и исключить. 


Глава -7 


ТЕОРИЯ ОЦЕНОК 


$ 1. Общие свойства оценок 


1.1. Некоторые соотношения. Для каждой статисти- 
ческой характеристики можно найти много различных 
оценок. Мы это видели на примере оценок дисперсий и 
ковариаций. Другие оценки для дисперсии` нормально 
распределенной случайной величины можно получить, 
выразив дисперсию О,=и, из формулы (3.89) через 
любой четный центральный момент и,, и заменив в по- 
лученном равенстве момент п,, его оценкой. За оценку 
математического ожидания случайной величины с сим- 
метричным распределением можно принять ее выборочную 
медиану, т.е. среднее Х,., из экспериментальных зна- 
чений величины Х, пронумерованных в порядке возра- 
стания, при нечетном числе опытов п =2у-Н|1 и полу- 
сумму двух средних (Х,-Х..!)/2 или величину АХ, -- 
-(1—^) Ху, ЛЕ (0, 1), при четном числе опытов п = -оу. 
Естественно стремиться находить в известном смысле 
наилучшие оценки с минимальной дисперсией или сме- 
щенные оценки с минимальным средним квадратом 

ошибки ($ 6.2). Для этого необходимо изучить общие 
свойства оценок и установить ре общие методы 
их нахождения. 

Как и прежде, будем рассматривать результаты опы- 
тов (не обязательно независимых) Х!, ..., Х„ как ко- 
ординаты п-мерного случайного вектора (строки случай- 
ной Их т-матрицы в случае т-мерного наблюдаемого 
вектора Х) И и обозначим через &(и] 0) плотность вели- 
чины (С, зависящую от неизвестного параметра 9. Любая 
оценка параметра 9 согласно определению п. 6.2.1 пред- 
ставляет собой функцию результатов спытов (Ц, не за- 


висящую от 0: 9 =Ф(0). Математическое ожидание этой 
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оценки в общем случае зависит от параметра 0: 
ь | 


Мб = Мо(И) = \ с (и) Е (и| 6) ди = ть (0). (1) 


Для несмещенной оценки ©9 по определению т (6) =6. 

№ Будем считать в общем случае параметр 0 г-мер- 
ным вектором и соответственно через 0/09 обозначать 
оператор градиента: 0/00 = [9/00,...0/00,]`. Тогда будем 
иметь 017/00 = [0/00,...9/60,| и, дифференцируя. формулу 
(1) по 0, получим 


[2.2 


‚ д 0 
ть (9 | оо бе ди 


. | Г к ЭТ ‚- 
| К > 
о и аи= м [1-е ‚ (2) 
_ Здесь, как ив $ 5.1, ть (0) представляет собой квадрат- 
ную матрицу с элементами тр (0) =дть„ (0)/00,, где 
ПО. ст а вектора то (0). При этом 
производные функции ша (и|09) по 0,, ..., 0, могут су- 
ществовать в обычном смысле или как обобщенные функ- 
ции, содержащие линейные комбинации 6б-функций. Точно 
так же, дифференцируя формулу 
\ с (и | 0) 4и=Т1, 


— © 


находим 
( и О (и в) ди=0, (3) 
или | 
м 0. (4) 


Отсюда и из (2) следует формула 


М (9—0)27=М |(9— т (0) . (5) 


. й А. 
Таким образом, случайный вектор 


_ Оше (И |0) | 
2=— 9 
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имеет нулевое математическое ожидание и его ковариация 
с ошибкой 9—0 оценки 9=Ф(И ) равна матрице произ- 
водных ть (0) вектора М@ = то (0) по 6,, ..., 0,. 4 
1.2. Нижняя грань рассеивания оценки скалярного 
параметра. Из равенства (5) можно получить нижнюю 


грань рассеивания оценки ©. 

№> Рассмотрим сначала случай скалярного пара- 
метра 0. В этом случае все величины в (5) скалярные 
и к математическому ожиданию в левой части можно 
применить неравенство (3. 45) для моментов второго по- 
рядка скалярных случайных величин. В результате по- 
лучим | | 

[ие (9) < М (9 — -0)°. М7, 


ИЛИ 


[т (0) < М (0—8). 22. (6) 

Отсюда в случае, когда РЕ < со, получаем неравенство 
д > [то (0) № [те (0 

М (9 —0)* > — рр `` Рдшв/0б’ (7) 


где для ‘краткости опущены аргументы (И и 0 функции 9. 
Это неравенство впервые получено Фишером [111] 
(см. также [28, 45, 84, 114]). 


В частном случае несмещенной оценки @ п {0) = 1, 
_М (9—6) =р9 и Е (7) принимает вид 


| 
_20> рр=рутея: Ч 
Это неравенство определяет нижнюю грань (не обяза- 
тельно точную) дисперсии несмещенной оценки. Никакая 
несмещенная оценка не может иметь меньшую дисперсию, 
чем правая часть (8). 

Если 07 = со, то неравенства (6) и (7) становятся 
тривиальными и не определяют нижнюю грань среднего 
квадрата ошибки. Это имеет место, например, в случае 
разрывной функции &(и|9) с зависящими от 0 точками 
разрыва. В этом случае производная д]п 2/09 содержит 
б-функции, а (д ]п 2/00)? не существует (квадрат д-функ- 
ции не имеет смысла). | 

1.3. Эффективная оценка скалярного параметра. 
Оценка ©, для которой в (7) имеет место знак равенства, 
называется эффективной. 
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» По доказанному в $ 3.3 знак равенства в (6), 
следовательно, и в (7) получается тогда и только тогда, 
когда случайные величины 9—0 и Д-=дш 2/00 связаны 
линейной зависимостью: 

| д1те(И |6) - | 
О) (6—0 =с[Ф (0) — 6], (9 
где коэффициент пропорциональности с может зависеть 
от 9, но не зависит от И. Отсюда и из (4) следует, что 


математическое ожидание эффективной оценки О всегда. 


равно 0, М@=0. Таким образом, любая эффективная 
оценка является несмещенной. | 
Коэффициент св (9) легко определяется. Имея в виду, 


что для эффективной оценки Об = 1/07, из (9) находим 


л а ВИ 
откуда следует с 07 = д т 2/08. | 

Ясно, что эффективная оценка существует тогда и 
только тогда, когда функция дша(и|09)/00 представима 
в виде (9). В этом случае правая часть неравенства (8) 
представляет собой точную нижнюю грань дисперсии 
для несмещенных оценок: 


| ВЕ | 
== Ш ОО. (10) 
рр Од о/00 в | 


Если функция Оп 6/00 не может быть представлена 
в виде (9), то эффективной оценки не существует. В этом 
случае правая часть в (8) не является точной нижней 
гранью дисперсии несмещенной оценки. 

Заметим, что из несмещенности любой эффективной 
оценки следует, что ни для какой смещенной оценки 
в (7) не может быть знака равенства. Тем не менее, во 
всех случаях, когда существует эффективная оценка, 
существует смещенная оценка более точная, чем эффек- 
тивная, т. е. с меньшим средним квадратом ошибки. 
Однако несмещенными оценками обычно не пользуются, 
чтобы избежать систематических ошибок при небольшом 
числе опытов п. При большом же`п заметного выигрыша 
в точности по сравнению с эффективной оценкой не по- 
лучается. Поэтому эффективными оценками пользуются 
всегда, когда они существуют. | 
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Для любой несмещенной оценки 9 =Ф(И) отношение 
правой части неравенства (8) к левой называется эффек- 
тивностью этой оценки и обозначается е ($): 


а (11) 
9.22 р@.Рдте/00` 


Эффективность любой эффективной оценки равна 1. 
Эффективность любой другой несмещенной оценки пред- 
ставляет собой положительное число, меньшее единицы. 
Из (9) ясно, что если эффективная оценка существует, 
то она единственная, так как формула (9) не может быть 
справедлива для двух различных функций фФ. 
Оценка, эффективность которой стремится к единице 
При неограниченном возрастании числа опытов, назы- 
вается асимптотически эффективной. — 
1.4. Нижняя грань рассеивания оценки векторного 
параметра. Перейдем к случаю векторного параметра 0. 
Перепишем (7) в виде. 
. | 
Ре ы, (12) 
те = в 

где \о =М (0— 6) — второй начальный момент ошибки 


оценки 9=Ф(И), а Е вспомогательная переменная. 
Таким образом, квадратичная форма одной скалярной 
переменной Ё в левой части (12) ни при каких значе- 
ниях & не может быть больше квадратичной формы 
в правой части. Это наводит на мысль, что, построив 
аналогичные квадратичные формы для случая векторного 
параметра 9, мы сможем распространить этот факт на 
многомерные оценки. 


Пусть 9=Ф(И) —оценка г-мерного векторного пара- 
метра 9. Момент второго порядка ошибки этой оценки 
определяется формулой | 

Го =М (9 —9) (97 — 607). 
Естественно предполагать, что между координатами век-. 
тора 9—6 не существует линейных зависимостей. В этом 
случае матрица Г. обратима. Естественно также считать, 
‚ что между координатами вектора 7. (9) не существует 
завйсимостей вида ф(т, (0), ..., т, (9)) =0. В таком слу- 


чае матрица /7‹ (0) обратима. При этих условиях обобще- 
ние неравенства (12) на случай векторного параметра 6 


имеет вид ь | 
ГИ ЕК а, (13) 


е(ф) = 
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где через ру для краткости обозначена матрица, обратная 
ту, Мф = (тъ)-*, а Е — вспомогательная векторная перемен- 
ная (матрица-столбец). = 

№» Чтобы доказать (13), вычислим момент второго 
порядка случайного вектора 


У= Га: (0—6 —в:2 
Имеем 
= МУУт = ГМ (0 —0) (бт — 07) Гу — 
—ГзМ (@ — 60) 27, —ьТМ2 (07 — 607) Го с М тра 
Отсюда, учитывая, что | 
М (8—6) (6—9) =Г» М227=К», 
М (0—0) 27= туз, М2 (0Т— 07) = щи = $) 


получаем 
Е ть — ИФК „Мф —Гу. 


Но любой момент второго порядка представляет собой 
неотрицательно определенную матрицу ($ 3.3), вследствие 

чего &7'Г.Е >0 при всех &, откуда и следует (13). В част- 
ном случае несмещенной оценки © т. (09) =0, те (0) = 
Го Ку и неравенство (13) принимает вид 


КЗ НКА 4 С (4) 


Геометрически: (14) означает, что эллипсоид ЕТК ,& =с. 
при любом с расположен целиком внутри эллипсоида 


_ЕТКо Е ==с для любой оценки 9—=Ф(И). Следовательно, 
эллипсоид рассеивания ЕТК о Е =] любой несмещенной 


оценки 9=ф(И) ограничен изнутри фиксированным 
эллипсоидом 5'К,Е ==1. 
Ковариационная матрица 


ры д пб дТ па 


09 00_ 


случайного вектора 2 =0д т 2/00 называется Нор ВИОН 
ной матрицей Фишера. 

1.5. Эффективная оценка векторного параметра. ЕЕ 
в (13) имеет место знак равенства, то оценка 9=Ф(И) 
‚называется эффективной. Если произведение ковариаци- 
онной матрицы К. состоятельной оценки 9=Ф(И) 
информационную матрицу Фишера К, стремится к еди-. 
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ничной матрице при неограниченном увеличении числа 
опытов п, то оценка 9=Ф(И) называется асимптоти- 
чески эффективной. 

Из приведенного доказательства соотношения (13) 
следует, что знак равенства в (13) будет тогда и только 
тогда, когда Г,=0 и, следовательно, с вероятностью 
единица У = 0, т. е. 


= Го! (9 —6). (15) 


Отсюда, принимая во внимание, что согласно (4) МЕ =0, 
заключаем, что математическое ожидание эффективной’ 


оценки © равно 0, т. е. что любая эффективная оценка 
несмещенна. Но в случае несмещенной оценки Гъ=Къ, 
То= о =Г ив силу (14) Ку =К,. Следовательно, (15) 
можно записать в виде 


О К, (0— -0)=К.[Ф(И)—91. (16) 


Это условие необходимо и достаточно для того, чтобы 


9—=Ф(И) было эффективной оценкой векторного пара- 
метра 9 

1.6. Нижние грани дисперсий координат оценки век- 
торного параметра. Из (16) ясно, что если эффективная 
оценка векторного параметра существует, то она един- 
ственна. 

Из сравнения (16) с условием (9) эффективности ска- 
лярной оценки следует, что координаты эффективной 
оценки векторного параметра 09 являются эффгктив- 
ными оценками. соответствующих координат вектора 0 
тогда и только тогда, когда ковариационная матрица К, 
вектора 2 диагональна. 

№» Из доказанной неотрицательной определенности 
матрицы А, —Ах вытекает неотрицательная определен- 
ность матрицы К. —К;'*). Отсюда следует, что диаго- 
нальные элементы матрицы К. не могут быть меньше 
соответствующих диагональных элементов матрицы К;" 
Это дает следующую нижнюю границу для дисперсий 
оценок координат вектора 0: 


р6,> КК, |, (17) 


*) Для доказательства достаточно привести обе матрицы А, и 


ы —1 ® © 
Кох. к диагональной форме одним и тем же линейным преобразо- 
ванием, 
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где К, —алгебраическое дополнение элемента ре, =0й „= 
— М |9 ш 6/0, |? в определителе |К„| Е. К,. Эта 
НИЖНЯЯ" граница достигается для координат эффективной 
оценки © вектора 0. 

Заметим, наконец, что так как в случае эффективной 


оценки 0 оценка 0, параметра 9, является, эффективной 
только в случае диагональной матрицы и то из полу- 
ченных результатов вытекает неравенство 


в 
ры Ва | == 17, 

причем знак равенства имеет место тогда и только тогда, 

когда матрица К, диагональна. < 


Таким образом, в случае оценки неизвестного вектор- 
ного параметра 9 нижняя грань (17) дисперсии коорди- 


наты 0, его несмещенной оценки © может быть больше 


ЕЕ. грани (8) дисперсии несмещенной оценки 0, па- 
раметра 9, в случае, когда 0, является единственным 
неизвестным скалярным _ параметром. Объясняется это 
тем, что во втором случае оценками могут служить функ- 
ции результатов наблюдений И, зависящие от известных 
остальных координат’ вектора 0, вследствие . чего класс 
допустимых оценок во втором случае шире, чем в первом. 

1.7. Достаточность эффективной оценки. Докажем, 
что эффективная оценка всегда достаточна. 


№» Пусть 9 =Ф(И) —любая оценка г-мерного вектор- 

ного параметра 0, ф,., (Ц), ..., ф,, (И) — любые скаляр- 

‚ные статистики такие, что при всех реализациях и. ма- 

трицы И якобиан функций ф, (1), ..., Ф, (и), Фи, (и), ... 

...» Фил (1) ПО элементам и», (р=1, ..., Т; 9=1, ..., П) 
отличен от нуля и конечен: 
0 (фл, -.., Фип) 

4] — ‚ И тп 0, У со. 

д (илл, .. т | | < 
Тогда, вводя векторную статистику Те: координатами 


Ур=Ф,+р(И)  ф=|,..., ТП, 


можно выразить плотность результатов наблюдений И 
через совместную плотность. й (0, и|09) оценки © и ста- 
тистики У формулой (5.31): 

8(и |0) =1 (0, у10) ||. 


Но 1 (0, иу| 0) = -р (0169) 9 (1 (и|6, 0), где р (016) —плотность 
оценки 0, аа (и|0; 0) —условная Плотность статистики У. 
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- 


в 


Следовательно, 
8(и|0) = р (0160) 9 (и16, 6) |1. 
`Так как якобиан / не зависит от 09, то отсюда следует, 
что 
О!шпа(и| 0) —_91пр (616) д1па (у|[6, 9) (18) 
00 09 йе 00 


Отсюда и из (16) для случая эффективной оценки © по- 
лучаем | 


д119(у10 0) 


0 тр (0160) _ к (6—0) — — ‚ 9) 
р ® 


99 
Левая часть не зависит от у. оЛеДОВАТЕЛЬНО, и правая 
часть не зависит от у. о 
опа, а д та (19, 0) 
( т Зее =. 
< 


Но для любой плотности, в том числе и для д, справед- 
лива ее (3). Следовательно, дта(и|0, 6)/00 =0 и 


Э1тр (616) 
Е Ы =К, (6 — 0). (19) 


Плотность 4 (|6, 9) в этом случае не зависит от пара- 


метра 0 ни при каком выборе функций Ф,.-+1, ..., Фи, 
что и доказывает достаточность эффективной оценки. 
Таким образом, для того чтобы оценка 9 была эффек- 


тивной, необходимо и достаточчо, чтобы она была до- 


статочной и ее плотность удовлетворяла условию (19). 
1.8. Случай независимых опытов. В случае независи- 
мых опытов плотность #(и|0) равна произведению плот- 
ностей значений Х,, ..., А, `случайной величины Х, 
полученных в результате опытов. Поэтому, обозначив 
плотность величины Х через }(х|9), будем иметь. 


ша (и10)= Г (х, |6). 


Отсюда, вновь пользуясь независимостью случайных ве- 
личин Х,, ..., А» ‚и принимая во внимание (4), получаем 


рей 9) о 0ш/(Х 16) 
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в случае скалярного 9 и 
п 


911} (Хр | 9) 97 т} (Хо |6). 
о а 
_ р, 9=1 , 


Эт / (Х 16) 9Т 1 { (Хр 16) 
=, Е ЛЬ А 


96 6. =пК, 


р=] 
где К =М [(9 ш[/00) (07 11 [/96) )|—ковариационная матри- 
ца случайного вектора. 


о. 


в случае векторного 9. Вследствие этого неравенства (7) 
и (8) в случае скалярного 0 принимают вид 


[по (6) 
М (9 —0)* => = пр 1 п }/00 ”.. (20) 
| 
р6 > Роб, (21) 


а условия (9) и (16) эффективности оценки 6=Ф(0) за- 
пишутся в виде 


у о тои, 9, (02 
к = 


где с=пК, Крат [/00 в случае скалярного ` пара-. 
метра 0. Таким образом, эффективная оценка ®©9= 
=Ф(Х,, ..., Х,„) существует тогда и только тогда, когда 
плотность [|(х|09) наблюдаемой величины Х при всех 
х,..., Х, удовлетворяет соотношению (22) при вы 


функции фФ. 


Пример `1. В случае. оценки математического ожидания т и 
дисперсии О ино и. случайной величины Хх. 


ША (т, р=фу и @лр)—@ = 


и, следовательно, 


Вр, 


да = р 2 90 = 9 И 
п 
— Эт} (хь | т, р) _ 1 п -— 
Е=1 = ` 


у отп |. 2", | ый 
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Из этих равенств следует, что выборочное среднее Х представляет 
собой эффективную оценку математического ожидания нормально 
распределенной случайной величины, а эффективной, оценки диспер- 
сии и эффективной оценки векторного параметра (т, р) не сущест- 
вует, так как условие (22) удовлетворяется только для одной коорди- 
наты т этого параметра *). Так как 


Оп _ Е» тр _ | 

дат Ш’ 00 ^ 20?’ 

то правая часть неравенства (21) равна О/п для оценки ти 20*/п 
для оценки О. Первая из этих граней, как видно из (6.13), совпа- 
дает с дисперсией Х, как и следовало ожидать для эффективной 
оценки. Сравнивая вторую из этих граней с дисперсией оценки Ь 
(6.19), видим, что эффективность оценки Б равна (п—1)/п. Так как 
(п—1)/п —1 при п—+ о, то оценка В асимптотически эффективна. 


<. Так как 


р 


п 
Ч 
Х (и п) = » (кв — хп (х— т)? = п(х— т) 5, 
ы| 
то совместная ПЛОТНОСТЬ результатов опытов выражается в виде 


— — п/2 М: Е о ИЯ 
5 (х1,..., ли | т, О) = (2^0) ы 55 (х— т) 2} 


т. е. зависит только от значений статистик Х и 9 и не зависит 
непосредственно от х1, ..., хи. На основании последней теоремы 


п. 6.2.2 отсюда следует, что векторная статистика (Х, $) достаточна 
для параметров т, О. По доказанному в п. 6.2.2 и любая двумер- 


ная функция величин Х, $ является достаточной статистикой для 


тир. В частности, вектор [Х Б]Т, так же как и [Х О*]Т, пред- 

ставляет собой достаточную оценку векторного параметра [т О]Г. 
‘Пример 2. Совершенно так же доказывается, что в случае 

оценки математического ожидания. т и ковариационной матрицы К 


нормально распределенного вектора Х выборочное среднее Х является 
единственной эффективной оценкой вектора т, К =5$/(п — 1) —асимп- 


тотически эффективной оценкой матрицы К и что пара Х, $ является 
достаточной статистикой для т, К. Из последнего факта вытекает, 


что пара Х. К, так же как и ра К*, представляет собой достаточ- 
ную оценку для т, К. 


1.9. Случай дискретной наблюдаемой величины. Рас- 
смотрим теперь частный случай, когда наблюдаемая 
случайная величина АХ дискретна. Обозначим через 
хо, ..., № ее возможные значения, а через 
р, (0), ..., рм (0) их вероятности. В этом случае плотность 


*) Если математическое ожидание т известно, то’оценка р= 
(Хь—т)*/п дисперсни О эффективна. 
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[(х|9) определяется формулой 
| | м 


_ 

Г(х10) = > р» @) 8 (#—х°). (23) 

а У= .: 

Если значения х®,..., х\ величины Х не зависят от 
неизвестного параметра 6, а вероятности р, а =, РО) 
дифференцируемы по 0, то 

д! (х| 60) др, (0) р | 

— 09 -У: 9—8 (*—^). (24) 
Отсюда видно, что отношение (0{/00)/ имеет значения 
(др./00)/р, в точках х=х“” (у=1, ..., М) и остается 
неопределенным во всех других точках. Поэтому 

м 
о ы д1пр,, 97 пр, „ 
К=м 06 = р 00 5077’ (25) 


№ 


Обозначим через М, число появлений значения х“ 
(у=1, ..., М) величины АХ при п опытах. Из (22) сле- 
дует, что эффективная оценка 9 =Фф(М,, ..., Мм) пара- 
метра 9 существует тогда и только тогда, когда при 
любых целых неотрицательных числах т, ..., Т», 


тт... Ту=П 


Л | о 
д]пр, 
уз По 96 — С [Ф (ть, офоу тм) — 9]. (26) 
= 1 
*) Для строгого вывода этой формулы выберем набтолько малое 
> 0, чтобы каждый интервал (х“”— в, х”-- =) не содержал воз- 


можных значений величины Х, отличных от х”, и рассмотрим слу- 


чай, когда плотность {}(х|0) величины Х определяется формулой 
№ 
(|0) = р р. (0) 6, (х— х^), 
где 6, (х) = 1/2 при |х| <=и 6, (х) =0 при [х| > в. Тогда получим 


911} 9 р, (У) ем у к 
90 — 4. при ре | < & (у == ий в №) 


ИТ р у. 910.07 9 тр, 

к= =] И ука У. а 
=] 

А так как это справедливо при любом. ё > 0, то (25) справедливо и 

в пределе при  —0. 


` 
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Пример 3. В случае оценки вероятности события в каждом 
опыте наблюдается число появлений этого события — дискретная слу- 
чайная величина с двумя возможными значениями 0 и 1, вероятности 
которых равны соответственно 4 =1— ри р. Неизвестным параметром 

служит р. В данном случае 
д]пр _ 1 ВОВЕ | 


‚ др р’ . др 1—р 9 
‚и при любом числе появлений т события 


д]пр Ота т п—т п [т } 
зы — = ——=—— дд — — 
Г др ‘ И др- (р 9 р9 п 2) 


Таким образом, условие (26) удовлетворяется, и, следовательно, су- 
ществует эффективная оценка вероятности р, представляющая собой 
частоту ‘события. Коэффициент с в данном случае равен п/ра. Фор- 
мула (25) дает 


| тр. в > | 
к=р Е 
СН 


: 


и неравенство (00) принимает вид 


М ВЕ [и о ов 


где То (р)= МР. Из (6.7) следует, что здесь получается знак равен- 


ства, а за оценку Р вероятности р принять частоту. Это еще раз 
подтверждает, что частота являстся эффективной оценкой вероятности 
события. 

Пример. 4. В случае. оценивания вероятностей ра, ..., рм зна- 


чений х1,..., Хм Дискретной случайной величины Х 0 = [р:...рм-1]Г, 
Вм=1— р. —...— м1, И, следовательно, 

дп Ру _ О дп Р№ _ | мы . ыы 

т в а о, О 

Ри Р., Ри рм 

м 9 . М-1 
У (о, +” У (в, 
а ЕС р, РМ Ри \тп Рот и ь 


Сравнив это равенство с (26), приходим к заключению, что вектор 


частот [Р... .Рм_ 12 представл яет собой эффективную оценку Втор 
ного | [21.. Рм- и". Так как матрица 


| ЕВ 
а 5 —0 5. 


у=1 в. 
вы ЕР" 2 Фу РМ. 
—1 —1. =]. | —1 
>. ри Р-Р"... их 
РМ. р"... РМет РМ. 


в данном случае не диагональна, то ни одна из частот Ра: ь.Рм по 
отдельности не является эффективной оценкой соответствующей вероят- 
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ности. Это объясняется тем, что в случае одной неизвестной вероят- 
ности р, при известных остальных можно построить несмещенную 


оценку,  ЗАВИСЯЩУЮ от известных вероят ностей, обладающую меньшей 
дисперсией, чем частота. 


$ 2. Основные методы нахождения оценок 


2.1. Метод максимума правдоподобия. Наиболее важ- 
ным с теоретической точки зрения общим методом нахож- 
дения оценок является метод максимума правдоподобия- 
Фишера. Этот метод основан на принятии за оценку не- 
известного параметра 9 такого его значения, при котором 


плотность результатов опытов Х.!,..., Х„ достигает наи- 

а - значения при полученных реализациях аа 

..., Х, результатов опытов Х;, +.., Х;: ие. 
в(и| 6) =2(,:..., х. |0) = тах. (27) 


Функция &(х,, ..., Х,|9) называется функцией правдопо- 
добия, а значение 06, при котором она достигает наиболь- 
шего значения, — оценкой максимального правдоподобия па- 
раметра 9. Оценки максимального правдоподобия обычно 
определяют, максимизируя пб (х,, ..., х„|9), пользуясь 
тем, что у= ш х—строго возрастающая функция.- 

В случае независимых опытов 


[та (Жан. | 0) = й мА (х, |0), (28) 


где [(х|0) — плотность наблюдаемой случайной величины 
Х. Если }(х|0) при всех х имеет непрерывную производ- 
ную по 0 (непрерывный градиент в случае векторного 0), 
то для определения оценки максимального правдоподобия 
получаем уравнение 


%` 35 0. | (29) 
й = 0 


В случае г-мерного векторного параметра 0 это уравнение 
представляет собой векторное уравнение той же размер- 
ности, т.е. систему г скалярных уравнений относительно 
координат вектора 0. Естественно, что оценками пара- 
метра 9 могут служить только те решения уравнения. 
максимума правдоподобия (29), которые зависят от резуль- 
татов опытов л,,..., х,. Если уравнение (29) имеет реше- 
ния, не зависящие отх,, ..., Х,, то их следует отбросить. 
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Если существует эффективная оценка 9=Ф\(х,, ...,х,), 
то на основании (22) уравнение максимума правдопо- 
добия (29) принимает вид 


СФ (и +, 0] =0. 


Отсюда следует, что если существует эффективная оценка 
‘араметра 9, то она является единственным решением 
уравнения максимума правдоподобия. 


Предположим теперь, что оценка 9=Ф(х,, о] 
достаточна для 0. В этом случае плотность 9 (у|6, 0) 
в (18) не зависит от 0 и на основании (27), (28) и (18) 
уравнение максимума правдоподобия (29) принимает вид 


д1пр'(0 |0 
0. _ (30) 


Отсюда видно, что в случае существования достаточной 
оценки (или статистики) для 0 все решения уравнения 
максимума правдоподобия являются функциями этой 
достаточной оценки (статистики). По доказанному 
в п. 6.2.2 отсюда следует, что если существует достаточ- 
ная статистика для 9, то все решения уравнения макси- 
мума правдоподобия являются достаточными оценками 
параметра 0. 

В случае дискретной наблюдаемой случайной величины. 
Х с возможными значениями х®, ..., х№, вероятности 
которых равны р, (6), ‚ р (0), функция о 
имеет значение д пр, (0)/д0 В ТОКе ХХ Там) 
Поэтому, если т, из экспериментальных значений хь ТА 
..., Хх, наблюдаемой величины Х равны х“” (у =1,..., М), 
т-...Ёту=и, то уравнение максимума правдоподо- 
бия (29) имеет вид 


М 
91 0 
У", т 0. в) 


Оценки максимального правдоподобия при достаточно 
общих условиях состоятельны, асимптотически нормальны 
и асимптотически эффективны [35, 45, 86]. 


_ 


я 
Пример 5. В случае оценки вероятности события р уравнение 
(31) принимает вид (пример 3) 


Мы В (т) ее 
р 1-р 24 
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где т-— число появлений ссбытия. Единственным решением этого 
уравнения является частота, р=т/п, в полном согласии с тем, что 
. частота представляет ссбой эффективную оценку вероятности р. 

Пример 6. В случае оценки математического ожидания т и 
дисперсии О нормально распределенной случайной величины Х на 
основании результатов примера |`уравнение максимума правдоподобия 
(29) представляет собой систему двух уравнений 


т (&в—т)—Р | =0. 


ен 


(х— т) =0, 


р 
р 


Первое из этих уравнений имеет единственное решение т = х (Х — 3ф- 
фективная оценка). Подставив это значение т во второе уравнение 
и решив его, получаем | 


п 
г х ыы 
р=-- 2 (х.—Х)?. 


Таким образом, метод максимума правдоподобия дает в данном случае 
— р] 


выборочное среднее Х в качестве оценки математического ожидания 
т и смещенную оценку О* для дисперсии О. 

Пример 7. В случае оценки математического ожидания т и 
ковариационной матрицы К нормально распределенного г-мерного 
анг вектора Х 


шр(х| т, к = ш]С -5 |1 (21)—5 (хТ—тГ) С (х— т) = 


| п | ь 
== ШС |-— 5- 1 (2л) — 5: У. Сра (Хр— Тр) (хд— тд), 


4=1 


где С=К 71. Так как матрицы С и К связаны взаимно однозначной. 
зависимостью, то при составлении уравнений максимума правдоподо- 
бия можно взять производные 1п [ (х | т, К) по элементам матрицы С. 
В результате, принимая во внимание, что производная определигеля 
по любому его элементу равна алгебраическому дополнению этого 
элемента, находим | 


Г 
Эш’ (х| т, К | 
ом, ЮУ и -ил 
_Р $=1 
дшр(х | т, К) Срд я ‚| 
—_ (хх, т, (Хх, —т,) = 
Эсра Е Рея 9 
] | Ой 

и - [ра (ртр) (^а— т4]], 


где С ра— алгебраическое дополнение элемента Сро В |С |. Подставляя 
сюда вместо х, хр соответственно хь, Хь,, суммируя полученные 
выражения по А и приравнивая результаты нулю, получим систему 
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уравнений максимума о | , 


п : 
У Ср е хз — пт, |=0, 
5-=1 к=1 | | 
п 
1 
Так как определитель матрицы С. отличен от нуля, то первая группа 
уравнений имеет единственное решение . 


вы гу а. Ой 


Е 
Подставив это решение во вторую группу уравнений, находим 


п рэ (хр Хр) (Хна — Ха) (р, а=1, ..., Г). 


=] 


Таким образом, метод максимума правдоподобия дает в данном случае 
выборочное среднее Х как оценку математического ожидания и сме- 
щенную оценку К* = 5/п = (п 1) К/п для ковариационной матрицы. 

Пример 8. Показать, что если наблюдаемая случайная вели- 
чина Х имеет показательное распределение } (х | Л) = Ле-^х1 (х), то 
оценкой максимума правдоподобия параметра ^, служит величина, 


обратная выборочному среднему значению величины Х: А==1/Х. 
Эффективна эта оценка или нет? Достаточна ли она? Решить те же 
‚вопросы в случае, когда оценивается параметр *=А-1= МХ. 

_ Пример 9. В случае оценки параметров № и р в у-распреде- 
лении 


а хи 


Г(и-- 1). 


уравнения максимума правдоподобия имеют вид 


ры | 


_ „Г 1) 
п пл -- = 0. 
р | Ги 


ел 1 (л) 


Первое из этих уравнений дает 
| = (и-- 1). 
Подставив это выражение во второе уравнение, приводим его к виду 
| ы | х Г’ (ц- 
ре, ео. 
И ай в | и-И. 


Это уравнение можно решить методом последовательных приближе- 
ний, пользуясь таблицей функции Ч (2). После этого найдем оценку 
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кон в: 


ПИ ТАИТ: КРТ РАРЧЕНОУ 


параметра А. Показать, что статистики Х и $=4ИХ.. ..Хв доста- 
точны и что эффективных оценок параметров А и ц не существует. 


Обратите внимание на то, что Х служит эффективной оценкой пара- 
метра у= (и-- ад так же как и в случае показательного 
распределения ( | 

Пример т в случае оценки параметра и = МХ в распреде- 
лении Пуассона р, (и) = цуе-Н/у! (у=0,1,2:..) и уравнение макси- 


мума правдоподобия (31) принимает вид 


ы - 
р. ут,— в |=0. 
У=0 


п 


Это уравнение имеет единственное решение 
© 
Ули 
п —- 


представляющее собой эффективную оценку параметра и. Но 


© — п 


м < 
> УП, == > и 


У=0 в =1 
так как т, представляет собой число экспериментальных значений. 


величины Х, равных у, т.е. число тех хь, которые равны у. Таким 
образом, и в этом случае выборочное среднее служит эффективной 
оценкой математического ожидания случайной величины. 

Пример 11. Во всех рассмотренных примерах выборочное 
среднее оказалось. эффективной оценкой математического ожидания. 
/Чтсбы показать, что это не всегда так, достаточно рассмотреть слу- 
чай, когда эффективной оценки математического ожидания заведомо 
не существует, например упомянутый в $ | случай разрывной плот- 
ности с зависящими от математического ожидания точками разрыва, 
когда правая часть неравенства (7) равна 0. В качестве такого при-. 
мера рассмотрим случайную величину Х, равномерно распределенную 
на интервале (т—@а, та) с нсизвестным параметром т= МХ. 
‚ В этом случае } (х | т) = 1/2а при хе (т—@, т-- а) и функция правдо- 
подобия постоянна и Е 1/(2)" при всех значениях т, для которых 
хЕЕ(т—@“, та) (Е=1, ‚ п), и равна нулю при всех остальных `т.. 
Но х+ЕЕ (т-— а, т-- а) при тЕ(хк—а, хк-- ©). Следовательно, множе- 
ством значений т, при которых функция правдоподобия отлична от 
нуля, служит пересечение всех интервалов (х„—@&, хе @) (=1, 
..., П), Т.е. интервал (тахх„—@, пт хь-р а). Любое значение т 
в этом интервале представляет собой оценку максимума правдоподо- 


бия математического. ожидания т. При этом выборочное среднее х 
может и не принадлежать этому интервалу. 

Пример 12. Если надо оценить оба параметра равномерного 
распределения т и @, то, поскольку функция правдоподобия обратно 
пропорциональна &”, следует взять в качестве оценки & минимальное 
значение ©, совместимое с результатами опытов, т. е. минимальное ©, 
при котором тах х»„—@ < шт ох» --%. Таким значением @ будет 
ыы: хк— шт ха) /2. При этом для т получаем единственную оценку 

= (тах хх -- пшх,)/2. 
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2.2. Одно свойство метода максимума правдоподобия. 
Для нахождения оценок максимума правдоподобия по- 
лезна следующая теорема: если параметры 9 и 3 связаны 
взаимно однозначной непрерывной зависимостью, то их 
оценки максимума правдоподобия связаны той же зависи- 
мостью. 

> Предположим, что параметры ь и $3 связаны взаимно 
однозначной зависимостью $=ф (9), 9=фФ-: ($3), причем 


функции ф и ф ' непрерывны. Пусть 9 — оценка макси- 
мума правдоподобия параметра 9 и $ =Ф (0). Требуется 
доказать, что $ — оценка максимума правдоподобия пара- 
метра $. 

Из того, что 6 — оценка максимума правдоподобия, сле- 
дует, что 2 (и|6) < в (и|6)в некоторой окрестности точки 9. 
Отсюда в силу соотношений 0 = ф-!($); 9=ф-: ($) и непре- 
рывности ф-* следует, что @(и|ф-! (3)) )) <&(и|Ф-: (8) 
В некоторой окрестности точки $. : 

Если 0 —единственная оценка максимума правдоподо- 
бия параметра 0, то в (и|6) <) при всех @ и, следо- 
вательно, 2 (и|ф-' (3)) < &(и|ф-' (3)). при всех $, т.е. 
$ — единственная оценка максимума правдоподобия пара- 
метра $. < 


Приме р 13. Найти оценки максимума правдоподобия собствен- 
ных значений и собственных векторов ковариационной матрицы К. 
г-мерного случайного вектора Х. 

В данном случае роль параметра 0 играет К’.., а роль параметра 
‚ 9— вектор, координатами которого служат собственные значения 
Лл, ..., Аг И независимые координагы собственных векторов Фф1, ...,Ф,. 
Покажем, что векторы @ и $ имеют одну иту же размерность. В силу 
симметрии ковариационной матрицы она полностью определяется 
г (-- 1)/2 своими элементами Ао при 9=р. С другой стороны, г? 


координат векторов Фф:, ..., Ф‚; связаны г (г- 1)/2 соотношениями 
Т 

(3.62), ФрФа=бра, 9—2. Поэтому число независимых координат 

векторов ф!,..., Ф; равно г? —х (г-- 1)/2. Таким образом, собственные 

значения Л, ..., Л, и собственные векторы Фф;, ..., Ф; полностью 


определяются г- и? —х (г-| 1)/2 =л (г-- 1/2 числами. Далее, в силу 
соотношений (3.61), (3.67) и (3.63) в случае различных собственных 
значений Л:, .... А; матрица К» и совокупность собственных значе- 
ний Л,, ..., А; "И собственных векторов Ф;, ..., Ф; связаны взаимно 
однозначной непрерывной зависимостью. По доказанной теореме оценки 
максимума правдоподобия параметров К х, с одной стороны, и Ли, ..., А», 
ф1, ..., Фр, С другой стороны, связаны той же зависимостью. Следо- 
вательно, оценками максимума правдоподобия собственных значений 
и на л, и собственных векторов ф1, ..., Ф; матрицы Ах; служат 


* - * * * 
собственные значения ЛА1, ...,Лг и собственные векторы Фи, ..., Фи 


280 


матрицы 
к* 1 < 
о У ((„—Х) (ХЕ—ХТ), Е 


(которая согласно и. примера 6 служит оценкой максимума 
правдоподобия матрицы К,,). 

В случае, когда среди собственных значений Л, ..., А, имеются 
совпадающие, соответствующие собственные векторы определяются 
неоднозначно. Однако и в этом случае можно утверждать, что соб- 
ственные значения и ссбственные векторы оценки максимального 
правдоподобия матрицы К „ представляют собой оценки максимального 
правдоподобия собственных значений и собственных векторов, соот- 
ветствующих простым собственным значениям, и некоторых соответ- 
ственно выбранных собственных векторов, соответствующих кратным 
ссбственным значениям. 

Можно доказать, что в случае-различных собственных значений 


| * 
\, ..., А, матрицы К» собственные значения №1, ...; Аг с вероят- 
ностью 1 различны и, следовательно, ссбственные Некто фу 
‚* 
., Фг определяются однозначно с вероятностью 1. 


2.3. Метод моментов. Вторым общим методом нахожде- 
ния оценок параметров распределений является метод мо- 
ментов. Этот метод основан на определении неизвестных па- 
раметров из уравнений, получаемых приравниванием экс- 
периментально. найденных оценок моментов теоретическим 
значениям соответствующих моментов, зависящим от неиз- 
вестных параметров. Так, например, если плотность }(х |0) 
наблюдаемой случайной величины Х зависит от неизвест- 
ного г-мерного векторного`параметра 0, то для нахождения 
оценки этого параметра приравнивают оценки каких-ни- 
будь г моментов величины Х соответствующим теорети- 
ческим моментам. В случае скалярной наблюдаемой вели- 
чины Х г-мерный параметр 9’ обычно определяют из. 


уравнений 
о, тум Ей 
о = 


В случае векторной наблюдаемой величины Х берут ана- 
логичные уравнения для г моментов возможно меньших 
порядков. Как правило, о моментами не 
выше четвертого порядка. 

Метод моментов часто оказывается проще, чем метод 
‚максимума правдоподобия. 


Пример 14. Оценим параметр '^, показательного распределения 
методом моментов. При этом достаточно оценить один первый момент — 


\ 281 


— 


математическое ожидание МХ =1/А. В результате получим ту же 
оценку, что и методом максимума правдоподобия. 

Пример 15. В случае оценки параметров А, и у-распределения, 
приравнивая первый и второй моменты соответствующим оценкам, 


получаем уравнения 
п 


| п 
1 (и 1 (и-2) 1 У 2 
ее х мп ХЬ 


ее К, 2) 
1 А? 
А | г 


(теоретйческие выражения моментов для у-распределения были полу- 
чены в примере 3.16). Разделив второе из этих уравнений на первое, 
возведенное в квадрат, получим 


2 


| п 
22 — > хЬ 
ве пы | 
ря ‚п 
] р 2 о 
в Е ХЕ —х- 
к=1 


После этого ‘находим оценку параметра А: 


д— 1 ре % 
Ш 


п 
ь 2 о 
> ХЕ —Х° 
п ь 
: в =1 


Мы видим, что в данном случае оценки параметров методом моментов 
находятся значительно проще, чем методом максимума правдоподсбия 
в примере 9. 

Пример 16. Оценим методом моментов параметры т и & равно- 
мерного распределения на интервале (т— &, т-|- ©). Пользуясь оцен- 
ками первых двух моментов и результатами вычисления моментов для 
равномерного распределения в -примере 3.3, получаем уравнения 


п 


Е п. 
с ] У Ро Зт?-- а? _ 1 у ь 
ЕВ ыы п м 


= 1 | =] 


Отсюда находим Т==Х и 


Таким образом, метод моментов дает в качестве оценки параметра т 
равномерного распределения выборочное среднее. 


Еще один метод нахождения оценок параметров рас- 
пределений — метод‘ минимума )* мы изложим в $ 8.3 
в связи с задачами оценивания законов распределения. 
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Наиболее общие методы нахождения и исследования 
оценок случайных величин и статистических характери- 
стик дает сравнительно новая и бурно развивающаяся 
отрасль теории вероятностей — статистическая теория ре- 
шений [15]. 


$ 3. Рекуррентное. оценивание корня уравнения 
регрессии 


3.1. Рекуррентное оценивание математического ожи- 
дания. Изложенные методы нахождения оценок неизвест- 
ных параметров, от которых зависят распределения на- 
блюдаемых случайных величин, дают возможность оцени- 
вать неизвестные параметры только после того, как 
произведены все опыты. Между тем во многих задачах 
практики приходится совмещать опыты с решением 
определенных практических задач, эффективность решения 
которых существенно зависит от точности приближения 
к неизвестным параметрам. В таких случаях желательно 
производить ‘оценку неизвестных параметров после каж- 
дого опыта с тем, чтобы повысить эффективность решения 
задач в следующем опыте. Таковы, например, задачи 
пристрелки при стрельбе и юстировки (устранения систе- 
_ матических ошибок) точных приборов. Задачей пристрелки 
является определение отклонения центра рассеивания от 
цели, т.е. математического ожидания отклонения точки 
попадания от цели, по результатам измерений отклоне- 
ний в процессе стрельбы с тем, чтобы по возможности 
точнее совместить центр рассеивания с целью. Ясно, что 
для повышения эффективности каждого следующего вы- 
стрела желательно вносить поправку после каждого 
рыстрела, а не ждать, когда будут произведены все 
выстрелы, предназначенные для пристрелки. Таким об- 
разом, возникает необходимость рекуррентного оценива- 
ния ‘неизвестных параметров, когда после каждого опыта, 
определяется поправка к оценке, найденной по резуль- 
‘татам предыдущих опытов. | 

`}№ Разъясним основную идею рекуррентного оценива- 
ния на простейшем примере оценивания математического 
ожидания случайной величины. При этом мы будем от- 
мечать выборочное среднее значение случайной вели- 
чины Х, полученное по результатам п опытов, верхним 
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индексом п. Тогда будем иметь 


п р 


Хит", — у Хь—- Х, 


ры 


— Хи-п + (Х,- И ый 


Таким образом, мы получили простую. рекуррентную 
формулу для выборочных о 


ХХ") —=Хи-п + == (Х, Ре < (33) 


Эта формула дает простое правило нахождения поправок 
к ранее найденной оценке математического ожидания: 
после первого опыта за оценку математического ожидания 
принимается наблюденное значение Х, случайной величины, 


Хх‘ = Х,, после второго опыта добавляется поправка, рав- 
ная половине отклонения Х,—Х®, и после п-го опыта 
к найденной ранее оценке Х"-®? добавляется поправка, 


равная одной п-й отклонения Х„— Х“"-п (после первого 
выстрела или измерения вносится поправка, равная на- 
блюдаемому отклонению, после второго — поправка, рав- 
‘ная половине наблюденного отклонения, и вообще после 
п-го— поправка, равная наблюденному. отклонению, де- 
ленному на п). Это правило издавна применяется в ар- 
тиллерии и в точной механике. 

Очевидно, что рекуррентная формула (32) применима 
и для оценок любых моментов скалярных и векторных 
случайных величин, поскольку оценкой любого (началь- 
ного или относительно данной точки) момента служит 
среднее арифметическое соответствующей степени слу- 
чайной величины (произведения степеней координат слу- 
чайного вектора). 

Процесс рекуррентного оценивания, когда поправка 
после каждого опыта зависит только от результата этого 
опыта и предыдущей оценки, называется стохастической 
аппроксимацией. Это название объясняется тем, что при- 
ближение к неизвестным параметрам достигается после- 
довательностью случайных величин (в нашем примере 
{Х“”\). Общая теория стохастических аппроксимаций 
была заложена работой Роббинса и Монро [92] и раз- 
вита в последующих работах Кифера и Вольфовица [36], 
Блюма [5, 6] и многих других, хотя, как мы видели, 
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метод стохастических аппроксимаций был известен и 
применялся задолго до создания общей теории. 

Чтобы сформулировать общую задачу оценивания 
параметров методом стохастических аппроксимаций, рас- 
смотрим процесс применения формулы (32) с другой точки 
зрения. Введем случайную величину У =Х —г при про- 
‚ извольном 2. Ее математическое ожидание при данном 2 
равно М [У |2] =МХ—2=т,— 2, т.е. представляет собой 
функцию переменной 2 —регрессию случайной величины У 
на 2 (п. 4.3.2). При этом функция ф(2)=М]У|2| из- 
вестна не полностью, поскольку она зависит от неизвест- 
ного параметра т... Задача оценки т, тогда сведется_ 
к оценке корня уравнения регрессии ф(2)=0. Ввиду 
состоятельности оценки Х“” математического ожидания 


т, последовательность случайных величин 0, = Х“) 
(п=1,2,...) сходится п. в. к корню 1%, уравнения 1р(2)=0. 
При этом в И-м опыте наблюдается случайная величина 
У =Х,— 2-1 (П=1, 2, ..), 2, =0, после чего опреде- 
ляется реализация случайной величины 


2.=2,а У, | (33) 


Эта трактовка рассмотренной задачи подводит к ши- 
роким обобщениям. В данном. случае функция регрессии 
ф (2) =т,„—2г линейна и зависит только от одного неиз- 
вестного параметра т, (векторного в ре векторной 
величины Х). В общем” случае ф (2) = М [У |2| может быть 
неизвестной функцией, удовлетворяющей лишь некото- 
рым самым общим условиям. Оказывается, что и в таких 
случаях методом стохастических аппроксимаций можно 
‘по результатам последовательных наблюдений величины У 

ценивать корень уравнения регрессии ф (2) =& при лю- 
бом ©, а для скалярной величины У— и точку экстре- 
мума 1 (2). | | 

3.2. Процесс стохастических аппроксимаций. Будем’ 
считать параметр г и о величину У, а следо- 
вательно, и функцию 1 (2) =М[У|2] в общем случае 

г-мерными векторами. Предположим, что уравнение 1р(2) = 
имеет единственное и 9 и что при 2 «= ба» д-р, 
функция ©,(2,)=(2,—6,) [ф, (2)—@„] переменной 2, со- 
храняет постоянный знак. в достатсчно большой окрест- 
ности У, точки 9, (р=1,..., г). Положим =„=— $91 ,(2,) 
и обозначим через ё диагональную матрицу с элементами 
Е Для оценки корня 09 уравнения ф(2) =“ 
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возьмем произвольную случайную или неслучайную ве- 
личину С, (конечно, такую, чтобы вероятность ее попа- 
дания в окрестность У, х...ХИ, точки 0 была достаточно 
близка к 1) и построим процесс стохастических аппро- 
ксимаций по формуле | 


21 = Рае Чет (У„—а), (34) 
где У,„— результат наблюдения случайной величины У 
при 2=0,-, (п=1,2,...), {а„! — последовательность 
положительных чисел, удовлетворяющих условиям 

[2 2 

ра. да в (35) 


а =, —значение матрицы в при 2=й,-,. В частности, этим 
условиям удовлетворяет последовательность {1/п}, с по- 
мощью которой строится последовательность (33), сходя- 
щаяся п.в. к неизвестному математическому ожиданию. 
Смысл условий (35) состоит в следующем: первое усло- 
вие — расходимость ряда с общим членом а, > О— обес- 
печивает возможность неограниченного приближения 7, 
к 9, не дает процессу приближений остановиться, не 
дойдя До точки 09; второе условие —сходимость ряда с 
общим членом а; — обеспечивает ограниченность последо- 
вательности дисперсий 07,, не дает процессу неограни- 
ченно удаляться от точки 0. Диагональная матрица в 
с элементами, равными 1, введена в (34) для того, чтобы 
обеспечить в среднем приближение к 0. Для иллюстра- 
ции рассмотрим случай скалярного параметра 6. Из (34) 
находим | 


М [2„ | 7-1 Е — Чё [ф [Ан —@| — 
| =—а,[4(2,-)—@] еп ® (2,-.), 


где ®(2)= (2—9) |ф (2) —©]. Отсюда видно, что- знак раз- 
ности М|[70,|2,-.|—2,-, всегда противоположен знаку 
отклонения (,„-,—0, что’`и обеспечивает в среднем шаг 
от Й,-, в сторону 0. 

`’ 3.3. Сходимость процесса стохастических аппроксима- 
ций. Для исследования сходимости п. в. ‘последователь- 
ности случайных величин {7,\ применим известный в 
теории устойчивости метод функций Ляпунова |46, 53]. 
Этот метод дает возможность в каждом конкретном случае 
устанавливать достаточные условия сходимости или устой- 
чивости какого-либо процесса. Метод функций Ляпунова 
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основан на следующем простом факте. Если непрерывная 
функция 9(2) положительна всюду, кроме точки 2=0, 
в которой она равна нулю, и приращение этой функции 
на каждом шаге (производная по времени в случае не- 
прерывного процесса) отрицательно в силу уравнений 
процесса (в нашем случае в силу (34)), то процесс всегда 
идет к точке 9 и не может остановиться, пока не достиг- 
нет точки 09. Функция 9(2) называется функцией Ляпу- 
нова. Если процесс приближения строится с помощью 
случайных величин, то вместо приращения (производной) 
отрицательным должно быть условное математическое 
ожидание приращения (производной). | 

Для сходимости п.в. процесса стохастических аппро- 
ксимаций (34) к корню уравнения регрессии ф (г) == & в слу- 
чае независимых величин У, —ф(7,-,) достаточно сущест- 
вования функции Ляпунова о (2), удовлетворяющей условиям: 

1) о(г2) непрерывна вместе со своими первыми и вто- 
рыми производными; 

2] (0) =0, ИИ 5. >06 (=) >0 при любом > 0; 

| г 


9|>2 
3) зир и (2) < —6, (=) < 0 при любом => 0, где 
|2-0]>2 
9 | 
и [а с (86) 
4) ®(2г, ^) = 
Т Т д ам | и 
=м[у ат) 2 5 0(2- №0 —а))е(У—а) |< Ро 


(37) 

при всех г, № (теорема Блюма)*). 
№» Рассмотрим последовательность скалярных случай- 
ных величин {я (2 „)}.Пользуясь формулой Тейлора, находим 


ое.) о, а, ау о) 


д 
на Ч (ут — ал) ва д 02 —0 (2, --0,а и ЕЕ (У,—@), (38). 


тде 0,Е (0, 1). Применив формулу полного математиче- 
ского ожидания (4.34) и приняв во внимание, что ус- 


*) Блюм доказал достаточность этих условий для сходимости 
последовательности {2„} п.н. [5, 6, 13]. Мы ограничимся здесь до- 
казательством их достаточности для сходимости п. в. Функция ‘и (2), 
очевидно, представляет собой условное математическое ожидание 
дифференциала, т.е. главной части приращения функции 0(2), в 
силу уравнений процесса (93) при данном значении 2. 
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ловное математическое М величины уе ыы 
тельно а 1 равно фр (2„- } ме 1=%(2,- 1), 
учетом (36) и (37) получаем 

То (2„- ) р о И. ) 
не ета 


дт инь 1) 


=М—“—е [$ (2 -1)—@] = Ми (2 2, 1), (39) 


М: те, ‚Е 0,а, (У„— 09) = (У„— 0) = 
| —= Ми (2,_„, ва) <Р. (40) 


На основании (38), (39) и (40) 
= (7. + в„Ми(2 мВ о Мы (2—1, ва.) = 


= Мо(2,-)—в,, + айт,, (41) 


где & =— Ми (7,1), т.=Ми (7, -,, 9,а,). ее (41) 
‚ последовательно, находим 


п 


Мо(2,) = Мо(2)) -Х о т; т, 


— 
=1 


Отсюда следует, что 
п | | Р! 
= о 
>. Е, = Мо(2) —Мо(2,) + у >. @ть < 
Е=1 | К == 1 
= +5 2 а. 


В силу условия 3) Ми) Ми (2. |= 

Отсюда и из второго условия (35) следует, что г. С 
неотрицательными членами Уа,Ё, сходится. А так как 
ряд Уа, в силу первого условия (35) расходится, то 
Им, =0. Отсюда следует существование подпоследова- 


_ тельности {и сходящейся к нулю: 
„= Ми (2н,-1)| —0. | и 

Но в силу неравенства Чебышева (6.1) 
| м | (2 )| 
ь (2. ы. > =) = — 
Следовательно, Р (и (7, ‚> —,0 при р-»ою, т.е. 
подпоследовательность {и (21 ый сходится п.вк 0. Отсюда 


5 
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и из условия 3) вытекает сходимость п.в. подпоследо- 
вательности {й, } к 09. Действительно, если подпоследо-_ 


вательность 12", } не сходится п.в. к 9, то существуют 
такие г, > 0, что Р( (12„›—6|> =) > 6 при всех п. Но 
из условия 3) следует, что 

Р(|2„,—09|> =) < Р(и(2и,)| > 6, в. 


“Таким образом, Р (|и(2„,)| > 6, ()) > 6 при всех п, что 
невозможно ввиду сходимости п. в. подпоследовательности 
{и (2.„)} к 0. 

Осталось доказать, что и вся подпоследовательность 
{2,} сходится п.в. к 9. Для этого заметим, что в силу 
непрерывности функции 9(2) и условия 2) подпоследо- 
вательность {9 (2„,)} сходится п.в. к 0. С другой стороны, — 


из (38) следует, что при любых п, ип>п, 


ты о Са- 1) в (У, О: 


о (2,) = 0 (пр) ы а мы 


Е = пр+! 
] д 0Т 
15. х оо) воз др о (Рь- вы (кв) (У, 0). 
=Пр 


Отсюда, принимая во внимание, что в силу условия 3) 
с вероятностью | имеют место неравенства 


м| 97% (2) 


га> быв, |= уе 
на 9 
(вр) —&| < 
М ей, в (У, —9)| 2, = 
| 0" (2ь.- 
=М [а ГА (а,-)— 92, <, 
и учитывая условие 4), ПОунеи 
М [2 (2,)| 2] <о а 
И 


Из этого неравенства и второго условия (35) следует, 
что при. любом 6 >0 


М[о (2,12. < 9(2,) +8) 


при всех достаточно больших п, и п>п,. Отсюда, ПоЛЬ- 
зуясь неравенством Чебышева (6.1), получаем при, любом 
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>00 
Р(0(2,) > = 192.) < 8) <> 
и, следовательно, | 
_Р (45 (2,) > =} П49 (21) < 6) = 
=Р(0(2.,) <6)Р((2,) > =|9(7.)<8<®. 


Зададим теперь произвольно малое &>0 и выберем _ 
0 < =(/4. Тогда будем иметь при всех достаточно боль- 
ших И, и п>п, 


Р({0(2,) > =} П {о (2,,) < 6) <-. (42) 


Далее, в силу сходимости. п.в. К 0 подпоследователь- 
ности {9 (2 ,)} 


Р({0(2,) > =} {0 (2.,) >28) < 20 (2.,)> <-> (43) 
при всех достаточно больших пр. Из (42) и (43) получаем 
Р(0(2,) > ®)=Р(40(2,) > =} п {о (2. <6-- — 

+ Р({0(2,) > = {9 (2,) 28) < += 


Это доказывает сходимость п.в. к 0 всей последователь- 
° ности {49(7,)}. В силу непрерывности 9(2) и условия 
_ 2) отсюда вытекает сходимость п. в. к 0 всей последо- 
вательности {70,\!, чем и завершается доказательство. 

При практическом применении доказанной теоремы 
самым трудным, как и при исследовании устойчивости, 
оказывается нахождение функции Ляпунова и (2). 

В случае скалярных 2, У и (2) функцией Ляпунова 
может служить у (2) = (2 —9)*. Эта функция удовлетворяет‘ 
первым двум условиям доказанной теоремы. При этом. 


25 [фр (г) а] =2 (2—6) [4 (2) —@е= 
— 26 (г) = = —2% (г) $51 о (2) =—2 |0 (2)|. 


и (2) = 


Поэтому условие 3) удовлетворяется, если для каждого 
$ > 0 существует такое 6, (=) >> 0, что 


м [6 (2)| >> 5, (2). 


| 2-0 
Наконец, вследствие того, что 9” (2) =2, 
@ (2, ^) =2М [(У —а)* |2|=2 {[$ (2) —а + О [У|=}, 
<90 | 


где |] У|2|— дисперсия величины У при данном значе- 
нии 2. Поэтому условие 4) удовлетворяется, если диспер- 
сия наблюдаемой случайной величины У ограничена 
сверху одним и тем же числом О, при всех г и функция 
{(2) ограничена на любом конечном интервале. При этих 
условиях из доказанной теоремы вытекает основная тео- 
рема Роббинса и Монро, доказанная ими в работе, по-. 
ложившей начало развитию общей теории стохастических 

аппроксимаций [92]. 


/ 


$ 4. Рекуррентное оценивание точки экстремума 
регрессии 


4.1. Процесс стохастических аппроксимаций. Перейдем 
к случаю оценивания точки экстремума скалярной функ- 
ции регрессии 1(2). Предположим, что функция \1(2) 
непрерывна вместе со своими первыми производными 
р (2) = 04$ (2)/0г, (р=1, ..., Г) и имеет единственный 
экстремум— минимум—в точке 2г=0*). В этом случае 
естественно стремиться двигаться из каждой точки г по 
отрицательному направлению вектора градиента, т.е. 
применить метод наискорейшего спуска |102]. При неиз- 
ъестной функции ф (2) естественно за а производной 
р» (2) в точке 2,-, принять величину И вр и = ИО" 
где У, результат наблюдения случайной величины У 
при г—2,- -,› а У,,— результат наблюдения величины У. 
при 2=2,-.--с„е» где е‚—единичный вектор оси 2,, а 
с, —некоторое число. Тогда, взяв произвольную случай- 
ную или неслучайную величину С, и определив после- 
довательность случайных величин 


бита, (44) 


тде И, — вектор с координатами И„„=(У„„—Уо)/си, можем 
рассчитывать на сходимость п. в. построенного процесса 
стохастических аппроксимаций к точке минимума 09 функ- 
ции 4 (2). 
| 4.2. Сходимость процесса стохастических аппроксима- 
ций. Докажем, что для сходимости п.в. последователь- 
ности (44) к точке минимума 0 функции ф(2) достаточ- 
но, чтобы положительные числа а, и с, и функция 1 (2) 


+) Случай максимума приводится к случаю минимума измене- 
нием знака функции 1 (2) и случайной величины У. 


у 
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удовлетворяли условиям 


а, == со, а Ко, 
п=| ПЕ 
: Е - (45) 
т с, == 0, у ас, < ©, у (=) < ©, 
п>х® п=! п=1 й 
в | 
7 < 8» (2) = м Рю о 


где у, и у, — некоторые положительные числа, и чтобы 
дисперсия наблюдаемой случайной ‘величины У была при 
всех г ограничена одним и тем же числом 0, О Е <В 
(обобщенная теорема Кифера и Вольфовица [36] *) 

№ Из (44) следует 


|. —0Р= - 12, —0 2 —9а, (27, —0т) И -на и, (47) 


Оценим условное математическое ожидание второго сла- 
гаемого. относительно 7,„-,. Для этого найдем сначала 
ыы определению вектора И„, применяя фор- 
мулу конечных о Лагранжа и учитывая, что 
в силу (46) ф, (г) = И 9) с, (2), получаем 


М|У п |2. ре —М [Ут [21- 1] 
Ди и 


(2 п- —- Сие у Фи ) р 
фр о, 6 = 


ЯР в Е Л, бр (2„-1 т У бНеЬ (48) 
где.9,.> Е (0, 1}. Следовательно, 
(2 0 ОМ [О би в 
иг _ 0, 8. (И и- ды с.е,)+ 
| С п мя 1, ее) бр (бл ооо: (49) 
Отсюда и из и получаем 
— (2-1, >2— 0») М [Ир 2-11 ы | 

и ее). -- 11С | Ра |. 


п-1,р 


*) Кифер и Вольфовиц доказали эту теорему для скалярной 
переменной 2. Обобщение на случай векторного 2 при несколько 
иных условиях и с дсказательством сходимости п.н. дал Блюм [6]. 
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Суммируя по р и принимая во внимание, что 


> (25-4, Р —9,) М [р | 2,-:|= (2„.— 07) М [С 12-1], 


1 


512. <У Зе.» 6, = 


р=1 
=И я... ,—9|*) ы 
приходим к неравенству 


— 1.07) м[0, 12.1 < 
<—%|2.-1— Р-Н И Гб бе |, (50) 


_ Кроме этой оценки, нам еще понадобится ` более грубая 
оценка для предварительного исследования. Чтобы полу- 
чить такую оценку, заметим, что в силу (46) и (49) ве- 
личина — (0,-:.„—0, УМ[0. „12-1 | может быть положи- 
тельной только при достаточно малых отрицательных 
С,-1,р— 6»; а именно при 0 >> 2-1. ,—0, >=, >—. 
Отсюда и из (49) следует, что 


— (2,- 1, р —0,)М[И,,12,- |< 176, |2, - р _ 9, | < 7,6. 
Суммируя. по г, получаем неравенство 
— (21, —07) М(И,|2,-:] < гуси. (51) 


Для оценки условного математического ожидания 
последнего слагаемого в (47) относительно Д„-: восполь- 
зуемся формулой (3.29), выражающей начальный момент 
второго порядка через математическое ожидание и дис- 
персию случайной величины. На основании этой фор- 
мулы, применив (48) и (46), получаем 


МТО» ое а =СМ [2 -11}* НВ», а 
= 1 (ит, ит п —0,)*--Р[@ „|2, -1] < 
< 21 [(2и-г. 2—9) +] -+ ВТ, | Е 


*) Здесь мы воспользовались неравенством 


Г 2 Г 
($ „) => а 
р=1 и 


справедливым при любом г и любых действительных х1,_..., Х,. 
\ 
Для доказательства достаточно найти максимум суммы ир при 
& 
условии Уш= Г и показать, что он равен г. 


Но | 
ги 
РЕ ар 2н-] == В [Ур Ут 2,1] 5 
я {р а оз | 2-Е 


ЗИ РТУ, ,[2,-П РТУ 2 = 
] ТЯ РГУ 17 1 4р 
= У ры +у р [Уно | Я |" < 128 


в силу условия теоремы. Следовательно, | 
М [1 2,- 1 < 2 (2,-1. 5-Я 
Отсюда суммированием по р получаем неравенство 
МПИ, 12,1 < 2712, -„—9Р-- 2-е. (62) 


_ Теперь мы можем доказать с. к. сходимость последо- 
вательности {7} к 0. Для этого докажем сначала огра- 
ниченность последовательности положительных чисел 
бб, =М|2,—0]. Из (47) следует, что 


5,8, .—2а,М (27.07), -Нам|и,в= 
=6,-:— 2а„М [(2„-.—0’) М [0 | 2,-1]] - 
ам [М [ри [12,1 (3) 


Отсюда, пользуясь неравенствами (51) и (52), получаем 
8, < 8, -, Е 27а, + 211988, —, +27 + 
4 (18) = 6,2 ь» (54) 
где | 
и а,\* . 
ош, = 27а, ся - 2глаяся - 4гО (==) з 

Применяя неравенство (54) последовательно, будем иметь 

| п | п-1 п 

6, < & [ (1+ 2а) + Хь, а +2) -ь,. (55) 
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Из (45) следует, что ряд Ув, и бесконечное произведе- 


ние ]] (1 21а?) сходятся *). Таким образом, все про- 
изведения в (55) образуют неубывающие последователь- 
ности, ограниченные сверху одним и тем же числом — 


бесконечным произведением Па-2у:а). Отсюда в силу 
сходимости ряда У, следует ограниченность последо- 
вательности {8,„\, т. е. существование такого числа 6, что 


6, < 5? при любом п. 


А так как для любой векторной случайной величины У 
на основании неравенства (3.45) 'М|У|= М (1 У] < 


ЗИМ| УР, т М 2,-—60|<И М1. —0Р=Уб, < 6. 
Пользуясь этим неравенством и неравенствами (50) и 
(52), из (53) получаем 
о ыч 0-1 — 27.@,б поп-1 -- 2:6 Иг Я.С Е 27 10"ап НЕ 
Ч глас? ++ 47р (=) =6, (1—2 а,)--%,, (56) 
где 
= Иг ас, + 216 °ав -- З7лаяся + 4гО (= :). 


Применяя (56) о будем иметь 


`,<8, (СП. (1 = Эа) рой ‚, Пак 
| й (57) 


где и, — любое число, для которого 27а, < 1 при всех 
РИ. Из ь (#5) следует, что ряд У, \, сходится, а про- 


*) Так как п ] [ Ч -- хи) = У т 1-Е хи) = УухаВ (+), где В (жк) = 
—= 1 —х//2 (1-- Лихь), ЛьЕ (0, 1), и В (х.) —*1 при хь —0, то беско- 
нечное произведение Па+х») сходится тогда и только тогда, 
когда сходится ряд Ух. Если Ух» = со, ТО бесконечное произве- 
дение Ца-»» называется расходящимся к ©, так как в этом - 
случае 


Пит П (1-Е хи) == ©. 


Если Ухь=—, то произведение Па называется расхо- 
дящимся к нулю, так как в этом случае . 


т Пао. 


= 
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изведение И (1—2%,а,) расходится к нулю *). Следова- 
тельно, правая часть в (57) стремится к О при; п. 
Это.‘и доказывает сходимость последовательности {8,} 
к нулю, т. е..с.к. сходимость’ носледовательности слу- 
чайных величин {7,} к 0. и из. с. к. сходимости 
{7.} к 09 следует ОАО п. В: Чо: и доказывает 
теорему. $: 

4.3. Метод случайного поиска. Мы ВИДИМ, что для 
оценки экстремума функции 1ф(г) г-мерного вектора г 
необходимо в каждой точке 0,_, наблюдать случайную 
величину У г--| раз при 2=0,-, И -се,, „.. 

71-Е с,е,. При г = 1 величину У приходится наблюдать 
‚2 раза. При этом вместо наблюдения ее при 2=й,_; и 
2=1,„_.-+с, можно наблюдать ее при 2г=й,_-с, и 
2=10,_,—С, И за оценку производной функции 1ф(2г) 
в точке Й,_, принять отношение разности полученных 
значений У к 2с,. Именно этот случай первоначально 
рассматривали Кифер и Вольфовиц в [36]. 

При большой размерности г вектора 2 применение 
метода стохастических аппроксимаций Для нахождения 
экстремума функции 14(2г) оказывается очень трудоем- 
ким из-за необходимости делать г--| наблюдений ве- 
личины У в каждой точке. В таких случаях более вы- 
‚годным часто оказывается метод случайного поиска. 

Метод случайного поиска основан на том, что из 
каждой точки Д,„_; делается шаг, представляющий собой 
случайный вектор У,. В полученной точке 7, =2,-.- У, 
производится одно наблюдение случайной величины У. 
В соответствии с результатом этого наблюдения У, фор- 
мируется распределение следующего шага И„.:. Если У, < 
< Т,-1, то распределение шага У„.,, выбирается так, чтобы 
вероятность шага У„,:, близкого по направлению к У, 
(т. е., вероятность сделать следующий шаг в направлении, 
близком к тому, в котором была получена удача), была 
достаточно велика. При У, >У,-; распределение шага 
У„., выбирается так, чтобы вероятность шага У„.., близко- 
го по направлению к И, (т.е. вероятность сделать следую- 
щий шаг в направлении, близком к тому, в котором была: 
получена нёудача), была малой. В остальном распределения 
пробных шагов можно брать в значительной мере про- 
извольными. При удачном выборе этих распределений 


‚ *) См. сноску на стр. 295 с учетом того, что —2у, У, ав =— ©. 
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метод случайного поиска может ‘дать значительный выиг- 
рыш по сравнению с методом стохастических аппрокси- 
маций в случае большой размерности г вектора 2. 

_ Поскольку распределение каждого шага формируется 
с учетом результатов предыдущих шагов, алгоритм слу- 
чайного поиска получается, по существу, обучающимся. 
Такой алгоритм накапливает опыт, учится на предыду- 
щих удачах и неудачах *). | 


") Более подробное изложение метода стохастических аппрокси- 
маций и его применений ‘читатель может найти в [13, 102]. Прило- 
жения метода стохастических аппроксимаций к различным задачам 
управления даны в [47, 106, 121, 122]. Читателей, интересующихся 
методом случайного поиска и его многочисленными приложениями, 
мы отсылаем к книге Л. А. Растригина [87 |, ‘который внес существен- 
НЫЙ вклад В ризраоотку а НОО поиска. 


Глава 8 


ОЦЕНИВАНИЕ РАСПРЕДЕЛЕНИЙ 


ра 


$ 1. Оценки плотности и функции распределения 


1.1. Параметрическое и непараметрическое оценивание 
распределений. Методы оценивания числовых характе- 
ристик случайных величин и параметров распределений, 
изложенные в главах 6 и 7, дают возможность находить 
по результатам опытов (оценивать) распределения слу- 
чайных величин, представляющие собой известные функ- 
ции, зависящие от конечного числа неизвестных скаляр- 
ных параметров (т. е. от неизвестного конечномерного 
параметра). Такое оценивание неизвестных распределе- 
ний называется параметрическим. Непосредственное оце- 
нивание ‘распределений без предположения, что они 
являются известными с точностью до конечномерного 
параметра функциями, называется непараметрическим. 
Мы изложим теперь основные методы непараметрического 
оценивания распределений случайных величин. 

1.2. Оценивание плотности по гистограмме. Из нашего 
подхода к определению плотности в п. 2.2.[ следует, 
что подходящей оценкой плотности случайной величины 
может служить относительная плотность эксперименталь- 
ных точек. При этом, чем больше число опытов, тем 
мельче можно взять интервалы разбиения области воз- 
можных значений случайной величины и тем точнее гисто- 
грамма будет аппроксимировать плотность. Практически 
интервалы рекомендуется выбирать так, чтобы в каждом 
из них было не меньше 10 экспериментальных точек *). 

Пусть /(х)— неизвестная плотность случайной вели- 
чины Х. Предположим, что область возможных значений 
величины Х разбита на г интервалов (многомерных ин- 
тервалов — прямоугольников —в случае векторной вели- 


*) Для построения гистограмм на ЭВМ в [94] служат программы 
Н1$Т, ТАВ1 (одномерные гистограммы) и АВ2 (двумерные гисто- 
граммы). 
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чины Х) Ах,, ..., Ах, *). Пусфь (.,..., й,—случайные 
числа попаданий величины Х в интервалы Ах,, ..., Ах, 
при п опытах, 2.-...--й,=п. Тогда частоты попада- 
ния в эти интервалы будут равны Р., = 2,/п (у =1, ...,/). 
Вероятности попадания в эти интервалы определяются 


формулой 
Аах  =Ь 4 7). 


Ах. 


Если принять частоты Р,, ..., Р, за оценки вероятно- 
стей р., ..., Р‚., То значения относительной плотности 
экспериментальных точек Р,= Р‚/Ах, в соответствующих 
интервалах Ах, р ..., Г) будут оценками величин 


== 3х ) по ЕТ 


Если }(х) непрерывна в` каждом интервале Ах,, то эти- 
величины представляют собой значения }(х) в некото- 
` рых средних точках соответствующих интервалов. Таким 
образом, значения относительной плотности эксперимен- 
тальных точек (ординаты гистограммы) представляют 
собой оценки плотности вероятности в неизвестных сред- 
них точках соответствующих интервалов. 

1.3. Доверительные области для плотности. Для на- 
хождения доверительной области для вектора |=[}, ...{,17. 
в Г-мерном пространстве воспользуемся третьим методом 
п. 6.2.4. Чтобы найти соответствующую функцию ф, будем 


оценивать отклонение вектора частот Р=[Р,... Б,]Т от 
вектора вероятностей р=[р,...р,|` взвешенной суммой. 
квадратов ошибок 


р (Р, ве ру), 


где с., ..., с, некоторые положительные числа. Эти 
числа целесообразно выбрать так, чтобы меньшие зна- 
чения вероятности оценивать с меньшими абсолютными 


*) Если областью возможных значений величины Х служит все 
пространство, то некоторые из интервалов Ах!, ..., Ах; могут быть 
бесконечными. При оценивании плотности все интервалы, содержа- 
щие экспериментальные точки, берутся конечными и только интер- 
валы, не содержащие экспериментальных точек могут быть беско- 
нечными. 

**) Для простоты мы обозначаем через Ах, не только интервал, 


но -и его длину р в случае векторной Хх). 
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ошибками. Иными словами, ошибкам оценивания малых 
вероятностей р, следует приписать большие веса су. 
К. Пирсон показал, что если взять с, = п/р, (у=1,...,!), 
то в пределе при неограниченном возрастании числа 
опытов И распределение величины | 


Н=пУ. > (Р-р)! (1) 
р” № р 


стремится к х?-распределению с г—1 степенями свободы 
[72, 73] (пример 5.48). Так как это распределение не 
зависит от неизвестных параметров Йа: з. О» ТО. ВелИи= 
чину (1), называемую обычно Хх’, можно принять за 


функцию ф(Р, р) п. 6.2.4. Тогда получим доверительную 
область для вектора р [р....р,|`, определяемую соот- 
ношениями 


У, ©. <-*, у. р»=1, ° () 


Где &«„ определяется по заданному коэффициенту дове- 
рия & из уравнения 
| ы 


Р((В, р) <) ЕР(Н <) = (р, (дата. 6) 


0 


Практически величину &„ определяют по заданным Ё = 
=/—[ и @ по таблице 5. При этом следует учитывать 
и бесконечные интервалы Ах,, частоты попадания в кото- 
рые, равны нулю. 

Для нахождения доверительной области для вектора 
средних плотностей {=|[...[;.|` следует прежде всего 
заменить бесконечные интервалы Ах, достаточно боль- 
шими конечными так, чтобы вероятность непопадания 
величины Х ни в один из интервалов Ах,,...., Ах, была 
пренебрежимо малой. При этом для более точного интер- 
вального оценивания средних плотностей в бесконечных 
интервалах с нулевыми частотами попадания можно раз- 
бить их на несколько меньших ‘интервалов (с ‘нулевыми 
частотами). Тогда. доверительная: область для. р о 
лителя. соотношениями 

г | 

а, жи я и, Ку с, УлАьеь (4) 


№=Ё 


О 
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Пример 1. Полученные в результате 100 опытов. значения 
случайной величины Х распределились по 10 интервалам длины 
80 единиц каждый, как показано в таблице. 


В третьей строке таблицы показаны средние точки интервалов, 
а в четвертой — относительные плотности экспериментальных точек. 
Найти оценку плотности и доверительную область для нее, соответ- 
ствующую коэффициенту доверия &==0;95. 


20 2’ 


Гистограмма для данного случая дана на рис. 32. Чтобы найти 
доверительную область, заметим, что в данном случае, считая два: 
бесконечных интервала (—0, —385) и (415, ©), имеем г=12, 
Ах, =:... =Ахь= 80. Заменив бесконечные интервалы приближенно 
конечными (—545, —385) и (415, 575), будем иметь Ах: = Ах! = 160. 
По таблице 5 для Е =7-| =! и я=0,95 находим во = 1968. По- 
лученная в результате опытов, реализация доверительной. ‚сбласти. 
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для {= ь.. [12|Т определяется соотношениями 
2.5.1092 ((,—7,5-10-92-- 7 ((з— 10.0.1091 
т Е, т. 
ЗА 20,0.10-3)8-- ^(ь—23,8-10-9) (4 —21,2.10-)2-- 
Га [ь | Тв 
+7 рай 10,0. 10-4) (4 —8,8-10-9-- 
и 


+ (Но— 3,7 10-4) 2.-- 2. < 0,00246, 
ВНР. Е 2Р4а--2р2=0,0125. 


Эту 11-мерную область в 12-мерном пространстве невозможно пред- 
ставить наглядно. Чтобы получить наглядную доверительную об- 
ласть, ‘найдем совместные доверительные интервалы для всех вели- 


ЧИН я, ..., [12, Соответствующие коэффициенту доверия не меньше 
чем &=0, 95. Для этого следует найти доверительные интервалы для 
каждой из величин Д, ..., /[12, соответствующие коэффициенту дове- 


рия а: = 1 — (1 —@/12) = 1 ) ‚05/12 = 0,9959 (п. 6.2.4). Так как число 
опытов в данном случае достаточно велико для того, чтобы распре- 
деление частоты можно было считать нормальным, применим фор- 
мулу (6.11). Для этого по таблице 1 находим (для @&=0,9959) 
га =2,86. Подставив это значение и значения частот в (6.11), нахо- 
дим совместные доверительные интервалы для |, ..., [12. Границы 
этих интервалов (ау, 6%) (Уу=1, ..., 12) приведены в таблице. 


в Ь Чат | 


1 


| 


вы | 


На рис. 32 показана доверительная область для кривой распре- 
деления, образованная этими доверительными интервалами. Согласно 
сказанному в п. 6.2.4 эта доверительная область содержит неизве- 
стную кривую распределения с вероятностью, не меньшей чем 0,95. 
Из рис. 32 видно, что полученные экспериментальные данные могут 
соответствовать большому разнообразию кривых распределения. 
Сплошной линией на рис. 32 показана кривая распределения, по- 
добранная для этих экспериментальных данных в примере 5, а штри- 
‚ ховой линией — нормальная кривая распределения. 


Изложенным методом определения доверительных 
областей для плояности можно пользоваться только в том 
случае, когда число опытов’ и достаточно велико для 
и. чтобы распределение величины Н мало отличалось 
от х?-распределения. Практически этим методом можно 
пользоваться при п > 100. Это условие обычно всегда 
выполняется, так как хорошие оценки распределения 
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РОТЕ УРГУ РУ ПР ЛР ЛИ 


случайной величины можно Получить только по резуль- 
татам большого числа опытов, порядка нескольких сотен 
для скалярной и тысяч для векторной случайной вели- 
чины. Если же возникает необходимость оценить плот- 
ность по малому числу опытов, то для нахождения дове- 
рительной области для нее следует пользоваться точным 


полиномиальным распределением частот Р.,..., Р, и 
и вторым методом п. 6.2.4, так же как это было сделано 
для оценки вероятности в п:6.3.2. 

1.4. Оценка функции распределения. Для получения 
оценки функции распределения Р(х) естественно заме- 
нить в ее определении (2.29) вероятности событий Х < х 
их частотами. Пусть М. (х х) —случайное число экспери- 
ментальных значений случайной величины Х при п опы- 
тах, удовлетворяющих неравенству Х, < х. Тогда оценка 
функции распределения величины Хх определится фор- 
мулой | 


Е (х)=М х)/п. 


Пользуясь единичной ступенчатой функцией, можно 
представить эту формулу в виде *) | 


> 


д =тУ1 (Ху. пы (5) 
=] 


1.5. Доверительные области для. функции распреде-_ 
ления. Задача нахождения доверительной области для 
функции распределения очень сложна и для векторных 
величин пока еще не решена. Для скалярных случайных 
величин эта задача упрощается вследствие того, что для 
любой непрерывной функции распределения Р (х) распре- 
деление случайной величины & = тах | Р (х)—Р(х)| не 
зависит от Р(х). Это следует из результата п. 5.2:3, 
согласно которому для любой непрерывной Р (х) случай- 
ная величина У = (ХЛ) в случае скалярной величины Х 
распределена равномерно на интервале (0, 1). 

Пусть С, (5)—функция распределения величины $ 
при и опытах. Значения С, ($) при $=А/п, Е=1, ... 

‚п— |, определяются формулой [58] (см. также [103]). 

| 
С, |) м (#, п) Шо: © 


[Ш 


*) Единичную ступенчатую функцию векторного аргумента 
можно считать равной произведению единичных ступенчатых функ- 
ций всех координат вектора-аргумента. 
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где функция и, (й, т) (п=1,..., В; т=0, 1, ..., п) 
определяется рекуррентной формулой 
+1 | 
Ве ИЕп (Е, т) 
И Е, (6-17 
и условиями | 
ил (й, т) =0 ег т- р, 
Иня (В, 0)=0 (1=1, 1), ил (К, Гы 


Пользуясь формулой 6), Масси составил таблицы зна- 
чений С, (А/п) функций С, ($), а затем интерполирова- 
нием. получил таблицы значений ‘функций С, ($) в зави- 
симости от Величины и=5Ип при разных п или, что 
то же, Таблицы значений функций распределения _ (и) 


случайной величины И=$Уп=УИпмах [Ё (х) — Е (х) | 
при разных значениях числа опытов п. По этим табли- 
цам можно находить Точные доверительные полосы для 
оцениваемых функций распределения скалярных слу- 
чайных величин. А именно доверительная область для 
Е (х), соответствующая коэффициенту доверия &, опреде- 
ляется неравенством 


г (х)—Ё (|< ио/У п для всех х, | ‚ (7) 


где и. находится путем решения уравнения К, (ис) =@ 
с помощью таблиц функций К, (ие). Неравенство (7) 
определяет. случайную полосу, ограниченную снизу и: 
сверху двумя ступенчатыми линиями, внутри, которой 
с вероятностью а полностью содержится график неиз- 
вестной функции распределения „Е (>). Вследствие. этого 
в среднем только в 100 (1—9) % случаев реализация 
доверительной области, определяемой неравенством (7), 
нё будет полностью. содержать график функции распре- 
деления Р(х)*). — 

‘Заметим, что ёще задолго до работы Масси А. Н. Колмо- 
’ горов нашел ‘предельное (асимптотическое) распределение 
величины И при п— оо [41]. Он доказал, Что при 


*) Заметим, что, пользуясь доверительным ‘интервалом п. 6.3.2 
для вероятности, можно получить значительно меньший доверитель- 
ный интервал для. значения Р (х) при каждом отдельно. взятом х. 
Однако такие доверительные интервалы не имеют 'никакого' практи- 
ческого значения, так как при оценивании функции распределения 
необходимо найти вероятные границы. для нее сразу при всех х. 


304 


‘любом и 


К (а) = п К, 1 -5 Хе ей, 8) 

”. п ® ть 

Поэтому’ при достаточно большом числе бпытов п вёли- 

чину Ис В (7) можно определять из уравнения К (и) =@ 

по таблице функции Колмогорова КЛ (и) (приложение 3, 
табл. 7). 


Пример 2. В условиях предыдущего примера найти довери- 
‚ тельную полосу для Ё (х), соответствующую коэффициенту доверия 
@ = 0,95. Так как в данном случае п = 100, то, определив по таб- 
лице 7 Иа =1,362, получим иох/10 =0,1362. Сдвинув на эту вели- 


_ 409 0002 ``’ 


-900 -200 


Рис. 33. за 


чину вверх и вниз полученный по, результатам опытов график эмпи- 
‚рической функции: распределения и имея в виду, что 0—7 (х) < 1. 
получим  доверительную‘ В ‘для, Е(х), представленную "на 
рис. 33: График неизвестной Р(х)_ с вероятностью: %==0,95' пол-: 
ностью заключен внутри этой полосы. _ . 


1.6. Другие оценки плотности. Дифференцируя. фор- 
мулу (5) и учитывая, что производная единичной сту- 
пенчатой функции представляет собой. 6-функцию, _полу- 
чаем оценку плотности величины Х в виде | 


ео а: 69) 
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Ясно, что в случае непрерывной величины Х эта оценка 
не может быть близкой к [(х) ни при каком значении х 
ни при каком числе опытов п. Эта оценка несостоятель- 
на. Чтобы исправить ее и сделать состоятельной, можно 
заменить б-функцию некоторой непрерывной плотностью 
1, (2). Тогда оценка плотности определится формулой 


9 =тУ, ХУ. _ (0) 
Е=1, 


Плотность р, естественно выбирать по-разному для 
различных п. Чем больше п, тем ближе должна быть’, 
{ф» (1) к.б-функции 6 (1). С другой стороны, в выражении 
(10) функции {(х) при п-—› со не должны возникать 
б-функции. Это будет обеспечено, если \р, (Е) будет стре- 
миться к 6({) достаточно «медленно» для того, чтобы 
р, (1)/п —>0О для всех { при п —+ со. После этих наводя- 
щих рассуждений . можно перейти к то доказа- 
тельству следующей‘ теоремы. 

Для состоятельности оценки (10) плотности |[(х) в 
каждой точке непрерывности ]|(х) достаточно выполнения 
условий: 

© 


ро {целое - прип-®  () 


в каждой точке непрерывности ] (х); 


2) | -- зир т, (2) —+0 при п-» со. (12) 


|< Для доказательства найдем математическое ожи- 


дание и второй момент оценки } (х). Так как все экспе- 
риментальные значения Х,,..., Х„ случайной величины Х 


имеют плотность }(х), то 


мо = м и—х)= }* 2) 942 


\=.1 


В силу условия (11) эта величина стремится к [(х) при 
‚ п-—+ со в каждой точке непрерывности ] (х), М}! (хх) —1(х). 
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Далее, вследствие независимости величин Х,,..., А„ 
„ 
а | 
МЁ "= Мф («— Хх») - 
5 У, Му, («—Х,) Мф, (х— Хи) = 


ИЭЕУ | 
и #@—2) | Эна | 


Но 
и («—2) (2) 42 <. зирф( фе Эа. 


В силу (12) правая часть этого неравенства стремится К 
нулю при И —> сю. Поэтому МР (^) в силу (11) и (12) 
стремится к [*(х) при п--+ со в каждой точке непрерыв- 
ности [(х), М]! (х) —[?(х). Следовательно, 


м) — Кр=МР (х)— 2) МЕР (®) —0 


при Пс 


в каждой точке непрерывности [(х). Таким образом, при 


выполнении условий (11) и (12) оценка 1 (х) с. к. схо- 
дится к |(х) в каждой точке непрерывности ] (х). Но из _ 
с.к. сходимости по теореме п. 6.1.3 вытекает сходимость 


п. в., т. е. состоятельность (х) в каждой точке непре- 
рывности ] (х). 

Заметим, что если [(х) непрерывна при всех х и схо- 
димость в (11) равномерна относительно х, то }(х) рав- 
номерно с.к. и п. в. сходится к [(х). < 

Условия (11) и (12) выполняются, и, следовательно, 
оценка (10) состоятельна, в частности, если 1ф, (Ё) == 
—=|с, | ф (с.#), где д (5) — произвольная ограниченная плот- 
ность, а с, —числа, удовлетворяющие условиям |с„| — оо, 
сит —0 при п —+ сю, где т— размерность случайного 


вектора Х. При этом для равномерной сходимости | (х) 
к [(х) достаточна равномерная непрерывность [(х) [33,. 
62, 70, 93, 125]. 

Доказанная теорема не решает вопрос о выборе плот- 
ностей тр, (1). Она оставляет для этого широкий простор. . 
Это дает возможность ставить задачи оптимизации оценок 
вида (10). при’данном п путем выбора ф, (1). Однако в 
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общем случае решение задачи оптимизации зависит от 
неизвестной плотности [(х) и вследствие этого не имеет 
смысла с практической точки зрения. 

| Заметим еще, что оценки вида (10) можно получить 
и для производных плотности [(х) [23, 1725]. 


$ 2. Приближенное представление распределений 


2.1. Система кривых Пирсона. В приложениях часто 
требуется приближенно представить плотность или функ- 
цию распределения случайной величины подходящим 
аналитическим выражением. В частности, приходится 
находить Подходящие аналитические выражения для рас- 
пределений, оцениваемых по результатам опытов. Это 
можно сделать многими способами. Так, например, фор- 
мула (10) непосредственно дает оценку плотности в виде 
линейной комбинации определенных функций. Однако 
этот единственный способ получения непараметрической 
оценки плотности в аналитической форме обладает тем 
недостатком, что число слагаемых в (10), равное числу 
опытов й, как правило, очень велико. Всякое же упро- 
щение аналитического представления плотности неизбеж- 
но ведет к параметризации оценки, т. е. к замене не- 
параметрической оценки параметрической. 

Для приближенного аналитического представления 
плотностей скалярных случайных величин широко при- 
меняется система кривых распределения К. Пирсона 
[71, 74]. Он заметил, что большая „часть плотностей 
у=|(х), встречающихся в задачах практики, удовлетво- 
ряет дифференциальному уравнению вида 

, х--а 
у бо-|- ах-- о Бе 9 


где а, 6, 6, и 6, —некоторые постоянные. В частности, 
этому уравнению удовлетворяют нормальное, показатель- 
ное, стьюдентово распределения, р-, \-, Х-, Х*-распреде- 
ления. Изменяя параметры а, 6%, 6, ифб,, можно полу- 
чить большое разнообразие кривых распределения. 

Другая система кривых для приближенного представ- 
ления плотностей скалярных случайных величин, осно- 
ванная на анализе причин отклонения от нормального 
распределения в про ВолСтВЬ предложена. Бородаче- 
вым [10]. В в 
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2.2. Ортогональные ‚разложения плотностей. Наиболее 
общим способом приближенного представления распреде- 
лений скалярных и векторных случайных величин является 
представление их в форме линейных комбинаций неко-. 
торых заданных функций, в частности в форме конеч- 
ных отрезков разложений в различные ряды. Мы изложим 
здесь способ разложения плотностей по ортогональным 
полиномам и общий способ приближения их линейными 
комбинациями заданных функций. 

Пусть /(х)— плотность, которую требуется предста- 
вить аналитическим выражением, } (х) —некоторая «эта- 
лонная» плотность, р,(х) (п=0,1,...)—система поли- 
номов, ортонормированных относительно распределения 
р (х), т. е. удовлетворяющих условию 


{®.*) 


ро р ФЬ а 


— 


(13) 


Хх —= буи, 


где, как всегда, 9, =0 при ИУ, 6, =1. Система поли- 
номов р, (х), удовлетворяющих условию (13), может быть 
найдена путем применения известного способа ортонор- 
мирования функций ко‘всем степенным функциям коор- 
динат вектора х [42]. При: этом всегда р,(х)=1 вслед- 
ствие свойства (2.11) плотности, а р,(х) в случае . 
скалярного х представляет собой полином степени п: 


ро) Хы @=13,.... (9 


Будем искать орел НО8 разложение плотности Ро 
в ряд вида 


К = (9 № сьр,. (5) 


Для определения : ‘коэффициентов с, умножим (15) на 
р, (х) и проинтегрируем, результат от о до со. Тогда, 
принимая во внимание (ие) получим 
.- ра и, ` (16) 


Эту формулу МОЖНО ' символически записать в ле м 
с =1, с, = р, (@), сд. н КМ) 
| во 


где р, (<) представляет собой результат замены в, т 
жении полинома р,(х) всех одночленов вида х/...хАи 
соответствующими моментами бк,,....к, случайной вели- 
чины Х, имеющей плотность [(х). В частности, в слу- 
чае скалярного х на основании (14) 


=, „а -- © анк о а 


где и, — момент А-го порядка случайной величины Х с 
плотностью } (х). Таким образом, все коэффициенты ряда 
(15) легко ‘определяются, если известны моменты слу- 
чайной величины Х. При этом, конечно, необходимо 
существование конечных моментов всех порядков. 

Ряд (15) при некоторых условиях сходится к [(х) и, 
следовательно, может служить для аналитического пред- 
ставления [(х) с любой степенью точности. Однако схо- 
димость или расходимость ряда (15) не имеет практи- 
ческого’ значения, важно лишь, чтобы плотность } (х) 
могла быть с достаточной точностью представлена с 
помощью небольшого числа (обычно двух-трех) членов 
ряда. Кроме того, обычно бывают более или менее точно 
известными только несколько первых моментов случай- 
ной величины, а относительно моментов высших поряд- 
ков мы не знаем даже, существуют ли они. Поэтому 
разложением (15) пользуются, не интересуясь вопросом‘ 
о его сходимости. Практика показывает, что большую 
часть встречающихся в приложениях распределений 
удается с достаточной точностью представить отрезком 
разложения (15), так же как и кривыми Пирсона. 

Перед тем как представлять плотность величины Х 
разложением (15); удобно предварительно нормировать 
ее, т.е. заменить случайной величиной Х*" =А;\/* (Х—т,)*). 
Эта случайная величина имеет математическое ожидание, 
равное нулю, единичную ковариационную матрицу и то 
‚же распределение, что и величина Х (пример 5.28). Сле- 
довательно, для нормированной скалярной случайной 
величины ©, = 0, %,=1|, @,=и, (К=2,3,...)` и форму- 


*) Если К. =АЛАГ, где А — диагональная матрица с элсмен- 


тами ^1,...,Аш, а А— ортогональная матрица, то по определению 
Ку== АЛУАТ при любом у, где АУ — диагональная матрица с эле- 


ментами ЛУ, те „. АУ. 
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лы (18) имеют вид | 
С. =1, С =, 6, =@ | Ч, (19) 


п, | 
Св = Чо Г @и» На ЧИ (п 25 3, 4, .). 
=3 я 


2.3. Разложение плотности по полиномам Эрмита. 
Разложение (15) можно строить на основе различных 
«эталонных» функций [р (х) как для непрерывных, так и 
для дискретных и для непрерывно-дискретных случай- 
ных величин. Выбор «эталонной» плотности р (х) в зна- 
чительной мере определяется характером функции ] (х). 
От удачного выбора [,(х) зависит простота и точность 
представления плотности [(х) отрезком разложения (15). 

Для непрерывных величин широкое распространение 
получило разложение (15), основанное на нормальном 
распределении. В этом случае для пОВИВОВАННОЯ ска- 
лярной величины в силу (3. ны 


х) =——е *”/. 
р (5) = 


При этом полиномы р, определяются формулой 
| ] , ы. | 
в) — (п=0,1,2, ...), (20) 


где Н,(х)— полиномы Эрмита: 
Но, ПП х НЕ -Ь о 
| Н.(х)=х— 3х, Н,(х) =“ — 6-3, и 
И вообще - ь 
[1{2] | 
Но=м- У (—1)7 " (2т— 1) И Су" х"-®". (22) 


т=1 


В этом случае формулы (19) дают для первых семи ко- 
эффициентов с, выражения 


— №5 — 1Оиз а _ №— 15а 30 
У Уб! 
и ряд (15) принимает вид 


Ё (х) у е-х* «1 +2 сиНп ыы (24) 


—_ 


Вследствие того, чтд 


х?/2 Н, (= а [ро (х)= ( (—1)” их х), 


Ум 
_ где Ф (х)— функция Лапласа, определяемая формулой 
(3.91), формулу (24) можно также представить в виде 


Го (ху и) вы 5 


Это разложение ‹ обычно называется рядом Г рожа — Шарль | 
типа А. | 

‚Так как для ‘любой скаля рной случайной, величины Х мо- 
мент порядка № соответствующей нормированной вели- 
ЧИНЫ ‘равен м,/о^”, где и, — центральный момент порядка ^ 
величины Х, а о— ее среднее квадратическое отклоне- 
ние, то для произвольной случайной величины Х, имею- 
щей среднее квадратическое отклонение о и математи- 
ческое ожидание, отличное от нуля, величины и, в фор- 
мулах (19) и (23) должны быть заменены соответствующими 
величинами ‚ Мь/б^. ‚В Е формулы (23) и (25) при- 
мут вид | 


| в з с ? 

С, =1, С. ==С, =0, Сз те УЗ! — С: —= у (и № 
Рае ‚1 | 
ут (108), =ун(я-1+30), 9 

| __] „ [х— тх = (—1)7 Сп И х— ту. 
о мера И во (та - -) | (27) 


Сравнив. формулы ‘для с, и с с (3:83) и (3.84), видим, 
что коэффициенты с. и с. пропорциональны соответст- 
‘венно асимметрии \, и эксцессу у,, с. = у1/И 31, с. =, 4!. 
При применении конечного отрезка ряда (27) для 
нахождения оценки плотности моменты в выражениях 
коэффициентов с, заменяются их оценками. 


Пример 3. Представить рядом Грама — Шарлье плотность 
равномерно распределенной случайной величины. 


Нормируя случайную величину, получим 6=—а=УЗ (при: 
мер 3.3). Вычислив для этого случая моменты случайной величины 
и ОИ ЦНЕНОЯ Сир, г = (25) в виде 


7] г)’= —<’ (х) — 55 $ ЕЕ ФР (х)--:. 
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На рис. 34 показано приближение к постоянной плотности одним, 
двумя и тремя членами разложения (кривые /,2и 3 соответственно). 

Пример 4. Представить ‚рядом Грама— Шарлье плотность 
дискретной случайной величины, ‚ возможными `значениями которой 


Рис. 34. 


служат все целые неотрицательные числа, причем . 


Р (Х=т) = рт (т=0, 1,2, ...). 


В данном случае естественно за ‹эталонное» распределение. при- 
нять пуассоновское с тем же первым моментом об: 


т=о 


Легко проверить, что ортонормальные полиномы ри (х) выражаются 
через моменты 09, 0, ... эталонного распределения [о (х) и моменты 
и, >, ‚.. распределения [(х) при любых [| (х) и [(х) формулой 


(—1” А», (х) 


Вы (Хх) == (2) 
У Аа аАн т 
где 
| | х них И 
09 И <. 
Агн (х) = : ы (2. ), 
0 0 0 
4 а 
0 
1 00 еек и, 
00 00 ры. 08 
Д›р= 1 2 р+1 (Ан 
0 0 о | 
и. И ох ео 


В соответствии с (17) коэффициент с„ получается заменой в опреде- 
лителе Д»„ (х) степеней аргумента х соответствующими . моментами. 


_ 313 


В результате получаем для /(х) разложение 


пд = 9 | 1+ У, “ить ® |, 
-. ПИ п — р 


где 
1 Не Зач 
1 Е. зас 
Дон (&) = . я ИО.) 
Е 0 0 ‚0 
а 0 м 


В частности, для пуассоновской’ [о (х), приняв @?=0: и выразив 


о, 2. ... через @!, получаем. 


т 


д У ще 


т=о 


2—0 — 9 (2—0 —01) (1-Е 291) 


ее. 


9 — б — 92 


1 9 ! : 
— [717 еже 9 (х —т), 
где 


С 
Че», тпрт (На Ь 


Пример 5. Найти приближенное выражение плотности для 
экспериментальных данных примера |, ограничиваясь в формуле (27) 
первыми тремя слагаемыми. 

В условиях примера | нахолим выборочные среднее и централь- 


ные моменты второго, третьего и_ четвертого порядков х= 18,2, 
и. =2,80. 10%, из =3,4.10°, иу =15,17.10 *), после чего по формулам 


(3. 83) и (3. 84) находим оценки асимметрии и эксцесса: 


^ 3,4. 108 ^ 15,17.108 _ 
1—5 80372. 108 м 0,072, 2 = 58021083 ^^ 1,07. 


Далее находим коэффициенты с и с: &=у/УЗ! я = 0,030; 


—=у./У 4! = —0,22. Подставив эти значения и значение 5"=И 167 
ь (27), получаем приближенное выражение плотности: 


ы х— 18,2 х— 18,2 
— р рак: оз В (У ин. врВ, ДЗЕ: 
Ё(«) =0,00598 Ё т ) 0,012Ф ( с } 


(У) и") 
0,044Ф ( т67 Е 


График этой плотности показан на рис. 32 сплошной линией. Для 
сравнения штриховой линией показан график нормальной плотности 
с теми же первым и вторым моментами. 


*) Для вычисления выборочных средних и центральных момен- 
тов второго, третьего и четвертого порядков по группированной 
выборке НВ .[94] служит программа МОМЕМ, использующая для вы- 
числения частот программу ТАВ|. 


914 


# 


2.4. Ряд Эджуорта. Разложение плотности по ортого- 
нальным полиномам, в частности ряд Грама — Шарлье, 
обладает тем свойством, что для вычисления коэффи- 
циента с, необходимо знание моментов случайной величины 
до порядка п включительно. Между тем момент порядка п 
часто входит в выражение коэффициента с, с таким ма- 
лым коэффициентом, что практически не влияет на ве- 
личину с,. Наиболее характерен в этом отношении слу- 
чай, когда величина Х представляет собой сумму большого 
числа слагаемых. Согласно предельной теореме $ 5.4 
распределение величины А в этом случае при достаточно 
общих условиях близко к нормальному. Если представить 
ее плотность рядом (27), то все члены ряда, кроме пер- 
вого, будут стремиться к нулю при неограниченном воз- 
растании числа слагаемых в составе величины Х. В этом 
случае важно получить такое разложение плотности, 
в котором объединены все члены одного порядка’ отно- 
сительно п. Чтобы решить эту задачу, рассмотрим слу- 
чай, когда величина Х представляет собой сумму оди- 
наково распределенных независимых случайных величин 

›..., А, ИмМеющих моменты всех порядков. | 
Пусть ц, =0?, ц., ...— моменты случайной величины 
Х=АХ,-+...-+Х,, № =0 ц,...— моменты каждой из 
случайных величии Х,,..., А,. Выразим моменты ц,, 
ц.,... через и, и»... В силу независимости величин. 
Х,,.:., А, получаем | 


К. = 63 = Пр, = П01,. Ц: = Ву, 

ма = пи. -- Зп (п— 1) 04, .. 

ц, =прь + 101 (п— 1) б1цз, | (28) 

и;=Ии, + 107 (п— и - 15п пы 
151 (п — 1) (И—2) 0, 


оо оо ооо фо оо ФФ ® воа з 


После подстановки этих выражений в (27) и объединения 
величин одного порядка малости относительно п-! будем 
иметь | | 


пт {Ф(257=)— — РВ п- 14 + 
А 
оо 
Ще О 

о го (2) | п-№ +... |. (09) 


07 


Отсюда видно, что для вычисления [(х) с точностью по- 
рядка О (п-*) достаточно вычислить коэффициенты ‘св, с, 
си с,, учитывая только моменты не выше четвертого 
порядка. Подставив в (29) выражения моментов о?, п, 
и, ... через о”, ц., ц., ... из (28), приведем (29) к виду 


по (т име) 
с (о 754) |- 
а (10 о а) | 
том) + 
+ (1) Ф® (5) ]+...}, 60) 


где каждое из выражений в квадратных скобках содер- 
жит только величины одного порядка малости относитель- 
Но. п". 

Разложение (30) называется рядом Эджуорта [126]. 
Оно представляет собой асимптотическое разложение 
[(х)*) по степеням п-\*, причем, как показал Крамер, 


*) Ряд Уанфь (2) называется асимптотическим разложением 
функции ] (2) при 2 —> 2%, если и любом п фи (2—0 при 2—2 и 


СРО - анте (2) = 0 (Фи (2). 
=] , 
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остаточный член имеет порядок первого нов 
члена [45]. | 

Если ограничиться в (30) членами порядка п-* и учесть, 
что величины и./о3 и (./0“)—3 согласно (3.83) и (3.84) 
представляют собой соответственно асимметрию т, и экс- 
цесс у, распределения случайной величины Х, то полу- 
чим следующее приближенное Вр Жение для плотности 
величины Х: 


па" (и) у (и) + 


| 10 | 
Уз тим | х—т  фОПЬ х—тх 
т (257) +5 (из) |. (810 


Этой формулой часто пользуются на практике. 

Аналогично можно получить ряд Эджуорта для плот- 
ности векторной случайной величины [20]. 

2.5. Представление плотности линейной комбинацией 
данных функций. При пользовании конечными отрезками 
разложений по ортогональным полиномам, как мы виде- 
ли в примере 3, иногда получаются малые отрицатель- 
ные значения плотности. Это естественное следствие того, 
что любой конечный отрезок ряда дает лишь приближен- 
ное значение функции, представляемой данным рядом. 

Перейдем к общему способу приближенного представ- 
ления плотности линейной комбинацией заданных функ- 
ций. Пусть }(х)— плотность случайной величины Х, 


ф, (х), ..., Фи(х)—заданные функции. Задача прибли- 
жения плотности |[(х) линейной комбинацией функций 
`ф, (х), ..., Фм(х) сводится-к определению коэффициентов 
с, ..., См В приближенной формуле 

Г(х) == саф, (х) +. .. --смФм (Хх). — (32) 


Эта задача может быть решена различными способами. 
Она решается стандартными методами теории приближе- 
ния функций, если |(х) известна. Однако в теории веро- 


Очевидно, что всякий степенной ряд, сходящийся к функции } (х), 
является ее асимптотическим разложением при 2 — 0. Однако асим- 
птотическое разложение может и не сходиться ни при каком г. Асим- 
птотические разложения, наряду со сходящимися рядами, широко 
применяются для’вычисления значений функций и для решения прак- 
тических задач. При этом асимптотические разложения по положи- 
тельным. степеням аргумента дают достаточную точность только при 
дсстаточно малых значениях аргумента, а асимптотические разложе- 
ния по отрицательным степеням аргумента — только при достаточно 
больших значениях аргумента. 
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ятностей обычно приходится решать эту задачу, когда 
плотность }(х) не известна. В этом случае приходится 
пользоваться специальными приемами. 

Если известно №—1 моментов. величины Х, то, при- 
равняв эти моменты соответствующим моментам, вычис- 
ленным с помощью выражения (32), получим № — | урав- 
нений, связывающих коэффициенты с,, ..., Су. Добавив 
к этим уравнениям очевидное соотношение 


2 \ ф\ (х)ах-. Е Ч см фм (х) ах =1, 


получим Л линейных алгебраических уравнений для опре- 
деления 6, +55 сх | 

В частном случае скалярной величины Х, зная ее мо- 
менты с, ВО 9-1 получаем уравнения 


а а О ВЕТ М — 1; и =1). 
Е=1 | | 


В случае векторной величины ХА следует выбрать № 
равным числу всех известных моментов, увеличенному 
на {[. | | 

В случае, когда требуется найти оценку плотности | (х) 
вида (32) по результатам опытов, задача сводится к оце- 
ниванию неизвестных коэффипиентов с,, ..., Сл. | 

Эта задача решается любым методом нахождения оце- 
нок неизвестных параметров распределений. В частности, 
оценки коэффициентов с,, ..., См можно найти методом 
максимума правдоподобия или методом моментов. В по- 
следнем случае она решается так же, как в случае из-- 
вестных моментов, только вместо самих моментов в урав- 
нения для С:, ..., См войдут их оценки. 

Если взять в качестве функций ф., ..., Фл, некоторые 
плотности, то часто удается избежать отрицательных плот- 
ностей при вычислении их.по формуле (32). | 

Можно также искать приближенное представление 
плотности линейной комбинацией вида (32) заданных функ- 
ций ф,, ..., Фл, зависящих от неизвестных параметров. 
В этом случае задача сводится к совместному определе- 
нию или оцениванию коэффициентов: с., ..., См и неиз- 
вестных параметров, входящих в выражения функций 
фт, ..., Фм. При этом можно взять меньше слагаемых в 
(32), но зато уравнения для неизвестных параметров или 
их оценок, получаемые методом моментов, уже не будут 
линейными. 
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Пример 6. Представить распределение дискретной. случайной 
величины примера 4 линейной комбинацией двух распределений 
Пуассона: | 

=) 


д Ге" ааа Е о-в] 5 (Ш 

Е == У Ё -е-и--(1 —с) — те 5 (х—т), 
т=0 | 

считая параметр и неизвестным, а параметр # > 1 известным. 


В данном случае с. -- с. =1. Поэтому мы положили С1==С, С5 == 
= | —с. Для определения с и и применим метод моментов. Имея в 


виду, что первые два момента распределения Пуассона и”е`И/т! 
равны и и и-- ц?, получаем уравнения 
си-- (1— с) ЦА = 04, 
с (и- и?) -{ (1— с) (Пы-- В?) = а. 
Решив эти уравнения и приняв во внимание, что при ©» = ©, -- @? этн 
уравнения имеют очевидное решение с=1, и=о@:, получим 
с 2 ВЮ -- УР — Ви 
ы 2 (1—1) : 


—— 


"РОУ “Пары 


> 


$ 3. Проверка гипотез о распределениях 


3.1. Задачи проверки гипотез. Из сказанного в $ 6.1 
ясно, что распределение случайной величины принципн- 
ально невозможно точно определить по результатам опы- 
тов. Полученные экспериментально оценки распределения 
дают возможность ‚только строить различные гипотезы о 
распределении случайной величины, например гипотезу 
о том, что она распределена нормально. Поэтому возни- 
кает задача проверки гипотез. Эта задача состоит в том, 
чтобы определить, насколько хорошо согласуется та илн 
иная гипотеза о распределении случайной величины с 
полученными эксиериментальными данными. Ясно, ‘что 
эта задача тесно связана с задачей определения доверн- 
тельных областей для плотности или функции распреде- 
ления. Однако она имеет и некоторые особенности. Дело 
в том, что по той же выборке, по которой’ проверяется 
гипотеза о распределении, обычно оцениваются и не- 
которые параметры этого распределения: Так, например, 
проверяя гипотезу о нормальном распределении, по той 
же выборке обычно оценивают математическое ожидание 
и ковариационную матрицу (дисперсию в случае одномер- 
ного распределения) случайной величины. Вследствие 
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этого гипотетическое распределение оказывается само слу- 
чайным — функцией случайных результатов опытов. "Это и 
отличает задачу проверки гипотез о распределении от за- 
дачи определения доверительных областей для, распреде- 
лений. И только в отдельных частных случаях может 
возникнуть задача проверки гипотезы о том, что случай- 
ная величина подчинена вполне определенному закону 
распределения, не зависящему от неизвестных параметров. 

Для проверки гипотез о распределении применяются 
различные критерии согласия. Наиболее удобным и уни- 
версальным критерием согласия является критерий ху? 
К. Пирсона. Он совершенно не зависит ни от распреде- 
ления случайной величины, ни от ее размерности. 

3.2. Критерий %?. Критерий 5? К. Пирсона основан 
на использовании в качестве меры отклонения экспери- 
ментальных данных от гипотетического распределения той 
же величины, которая служит для построения доверитель- 
ной области для неизвестной плотности, с заменой неиз- 
вестных истинных значений вероятностей попадания в 
интервалы вероятностями, вычисленными по гипотетичес- 
кому распределению. Предположим, что область возмож- 
ных значений случайной величины разбита на г интер- 
валов (многомерных, т. е. прямоугольников; в случае 


векторной величины). Пусть, какив$ 1, Р,, ...,Р,— 
случайные частоты попадания в эти интервалы, получа-. 
емые в результате п опытов, Р., ..., Р,„— вероятности 


попадания в те же интервалы, вычисленные по гипоте- 
тическому распределению. `В общем случае эти вероят- 
ности являются функциями оценок неизвестных парамет- 
ров, получаемых по тем же экспериментальным данным, 
и потому тоже являются случайными величинами. Пред- 
положим, что оценки неизвестных параметров гипотети- 
ческого распределения вычисляются по той же группи- 


рованной выборке, что и частоты Р., ..., Р,. Тогда 
вероятности Р., ..., Р, будут некоторыми функциями 
частот Р,, ..., Р,„, и вместо величины Н, определяемой 


формулой (1), для оценки отклонения экспериментальных 
данных от гипотетического распределения придется взять 
величину 


Г ^ 
х (Р,-Р..)? 
2 =п У, —_ (33) 
У=1 ы 
где Р,,..., Р, — определенные функции частот Р.,...,Р,. 
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Нейман и Е. Пирсон показали, что если для вычисле- 
ния вероятностей Р., ..., Р, применяется асимптоти- 
чески эффективная и асимптотически нормальная оценка 
неизвестного $-мерного параметра гипотетического. рас- 
пределения по группированной выборке, то величина 2, 
определяемая формулой (33), в пределе при п —+ со имеет 
/?-распределение с г-$—1 степенями свободы |[65, 45]. 

Пользуясь этой теоремой, можно оценивать расхож- 
дение экспериментальных данных с гипотетическим рас- 
пределением с помощью таблиц у?-распределения (табли- 
‚ ца 5). Выберем достаточно малую вероятность р, чтобы 
событие с такой вероятностью можно было считать прак- 
тически невозможным, и определим 7% из уравнения 


[2 


Р(2> 2) = | рь(маи=р, — Ё=г—8-—1. 
хе | 
р 
Если реализация 6 = у? величины 0, полученная в резуль- 
тате опытов, превосходит у» или равна х,, =. >уо, 
то гипотетическое распределение считают не согласую- 
щимся с экспериментальными данными, так как при этом 
распределении практически невозможно. получить при 
одной выборке & =.” >». Вероятность такого события 
при большом числе опытов и приближенно равна р, т. е. 
‚ пренебрежимо мала. В этом случае говорят, что имеет 
место значимое отклонение экспериментальных данных от. 
гипотетического распределения. Если же &=.? < 2, то 
считают, что гипотетическое распределение не противо- 
речит экспериментальным данным, согласуется с ними. 

Величина у, называется 100р-процентным уровнем 
значимости отклонения выборки от гипотетического рас- 
пределения. В приложениях обычно пользуются 5-, 1- 
и 0,1-процентными уровнями значимости, в зависимости 
от характера задачи. 

Для дополнительной проверки согласованности экспе- 
риментальных данных с гипотетическим распределением 
полезно вычислить вероятность того, что при данном ги- 
потетическом распределении величина Д окажется больше 
полученной в результате опытов ее реализации 8 =у2?, 
Р (2 > х?). Эту вероятность можно также приближенно 
определить по таблице ‘5. Чем болыше эта вероятность, 
тем лучше согласуется выборка с гипотетическим распре- 
делением, тем меньше значимость полученного расхож- 
дения выборки с гипотетическим распределением. Дейст- 
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вительно, если вероятность Р (2 > Хх’) велика, то при 
повторении данной серии опытов в случае справедливости 
выбранной гипотезы о распределении часто будут полу- 
чаться значения величины Д еще большие, чем получен- 
ное в результате опытов ‘значение & =5?. 

Обратим внимание на то, что, получив =? «ри 
даже получив высокую вероятность Р (2 > х?), мы не де- 
Лаем определенного вывода, что выбранная гипотеза о 
распределении справедлива, а говорим лишь, что эта ги- 
потеза не противоречит полученным результатам опытов, 
что она согласуется с ними, вследствие чего ее можно 
принять. Чтобы получить достаточно веское доказатель- 
ство того, что случайная величина действительно подчи- 
нена гипотетическому закону распределения, необходимо 
повторить данную серию опытов достаточно большое число 
раз и убедиться в том, что полученное согласование ги- 
потезы с результатами опытов устойчиво. 


Если Ё=г—5—1 > 30, то величину Х=ИЙ можно 


считать распределенной нормально М(УИЁ— 1/5, 1/2) и 
для вычисления величины 52 воспользоваться рой 


—— и 
Р(Х>х,)=з—Ф(,И2-УЖ—П=р 


и таблицей функции Лапласа (табл. 1). 

Подчеркнем, что при вычислении полученного в резуль- 
тате опытов значения 6 =? необходимо учитывать также 
бесконечные интервалы с нулевыми частотами и отлич- 
ными от нуля при гипотетическом распределении веро- 
ятностями. 


П ример 7. В условиях примера | проверить гипотезу о нор- 
мальном распределении случайной величины. 

В данном случае с учетом бесконечных 11-го (— о, 385) и 12-го 
(415, ©) интервалов имеем г = 12. Так как по той же группирован- 
ной выборке мы оцениваем два параметра т; и О., то $=2 и 
Е=г—$— 1 =9. По таблице 5 находим для А =9 и р=0,05 5%-ный 
УРОЕРИВ значимости Хр = 16,92. Для вычисления полученного значе- 
НИЯ х_ находим по гипотетическому нормальному распределению прн 

тх =х==18,2 вероятности попадания в интервалы Ах... Полученные 


значения частот и вероятностей приведены в таблице. 

По этим данным находим по формуле (33) у? =4,157. Так | 
это значение 7)? значительно меньше критического значения И 
можно считать, что гипотеза о нормальном распределении НИ 
величины не противоречит результатам опытов. 

Вычислим еще вероятность значения меры расхождения 7 боль- 
шего, чем значение 5? =4,157, полученное в результате опытов. По 

‹ 
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5 9 110 | 11| 12 


р. -10* 200] 600] 800! 1600 | 1600 | 1700 1400 |80017001300] 0 10 
р.,.10% |190] 467| 919] 1440 | 1826 | 1837 | 1487 |9591496]206] 82 | 91 


таблице 5 при Ё=9 и Хр = 14,157 находим Р (7 > 4,157) = 0,908. Таким 


образом, при справедливости нашей гипотезы о распределении можно 
с вероятностью = 0,91 получить еще большее расхождение )^, чем 
то, которое получилось в результате опытов. Это служит дополни- 
тельным основанием для принягия гипотезы о том, что случайная 
величина Х распределена М (18,2, 168). | 

Пример 8. Для тех же экспериментальных данных проверить 
гипотезу о том, что распределение определяется плотностью, найден. 
ной в примере 5. 

Пользуясь формулой примера 5 для плотности. и таблицами | и 
2 функции Лапласа и ее производных, находим вероятности попа- 
дания в интервалы. Результаты приведены в таблице. 


112 3 8 


р.,-10* |20° 1494°| 1624 | 1621 
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Подставив эти вероятности и соответствующие частоты из примера 
5 в формулу (33), находим )?=2,528. Так как в данном случае по 
той же группированной выборке оцениваются четыре параметра тх,, 
0х, 1 И |], то $=4 и /*-распределение имеет А =г— $— 1 =7 сте- 
пеней свободы. По таблице 5 находим для А =7и р==0,05 критическое 
значение у? = 14,07 и вероятность получить значение у? большее, 
чем 2,528, Р (7 > 2,528) =0,923. Таким образом, распредз ление, по- 
добранное в примере 5, согласуется с экспериментальными данными 
несколько лучше, чем нормальное распределение. 

Пример 9. В условиях примера 7 проверить гипотезу о рас- 
пределении М (15, 160?). 

В данном случае мы не оцениваем параметры нормального рас- 
пределения по выборке, а просто задаем их. Основанием для их вы- 
бора служит только то, что точка х=15 является средней точкой 
интервала, занятого экспериментальными точками, причем 51 экспе- 
риментальное значение случайной величины меньше 15, а 49— боль- 
ше 15, и что 66% всех точек лежат в интервале (15—160, 15-|- 160), 
в то время как при нормальном распределении вероятность попада- 
ния в интервал (т.—ов,, т.-- ох) равна 0,68. Поэтому в качестве 
меры расхождения между гипотетическим распределением и экспери- 
ментальными данными можно принять величину Н $1. Предельным 
распределением этой величины служит )?-распределение.< г— 1 = 11 
степенями свободы. При этом получается у? =5,221 при 5%-ном уровне 
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значимости = = 19,68 и Р(Н > у?) = 0,9178. Таким образом, несмотря 
на несколько большее расхождение между вероятностями р., и часто- 


тами р. по сравнению с примером 7, у?-критерий дает не меньше 
оснований для принятия гипотезы о распределении М (15, 160*), чем 
для принятия гипотезы о распределении М (18,2, 168*). 

3.3. Вывод предельного 5?-распределения. Докажем 
теперь теорему Неймана и Е. Пирсона об асимптотиче- 
ском распределении, величины 


2" У. [Ру — р» (9) ЦИ. 


её ] Ру (9) 
где 9 = ф (Р) — оценка параметра 6, представляющая со- 
бой некоторую функцию вектора частот Р=[Р,... РТ 


(т.е. найденная по группированной выборке), а У — век- 


ы. с координатами № „= [Р, ВР ВУ миру) (= 
к а 

№» Для нахождения асимптотических распределений 
величин У и 1 выразим вектор № приближенно через 
вектор И = [Иры И, 


У. = р, (0) У п/р, (0) О в. 


Предположим сначала, что 9 представляет. собой оцен- 
ку максимального правдоподобия, т.е. корень уравне- 


дп р. (9) 


ния (7.31), котсрое мы запишем в виде >. Р, т та 0. 
Поскольку  Ур.(0) =1, е ой ‚ (9) тр 0. Вычитая 
это уравнение из НИ получим 

У. ПР, рб — 0, в 


м=1 
Имея в виду, что 9+0 и Р-+р (0) по вероятности при 
п — со, будем искать решение уравнения (34) в виде разло-_ 


жения по степеням разности Р— р или, что одно и то же, по 
степеням вектора И. Тогда с точностью до малых первого 
порядка будем иметь 


или, после умножения на Ул, 


дру — (КТ др» дтр, | 
р ва ИЕ 09 5") (9 9—9) =0. 


№=1 


ры 
— Ир 09 Ур: 09 


можем переписать полученное уравнение в виде 
— У псСт (0—0) = 


Если матрица О =|др,/009 ... др,/00] имеет ранг $, то 
и С имеет ранг $. Поэтому матрица ССТ тоже имеет ранг 
5 и, следовательно, существует обратная матрица (ССГ) = 
и полученное уравнение имеет, решение 


Вводя матрицу 


9=0-+- = (ССо-СУ. | | (35) 


Эта формула с точностью до величин порядка о(п-1/?) 
определяет и решение исходного уравнения (34). 
Пользуясь формулой (35), можно выразить вектор Ш 
через ИУ с точностью до величин порядка о (п-!/?). Для 
этого заметим, что с точностью до величин порядка 


Упо (|0 —0]} 
= т т | ЭТр, 
и, =Ут а. т, [Р,— р,— 00 5—9). 


Подставив сюда выражение (35), получим с точностью. до 
величин порядка У по (п-1/) =0 (п-1/?) | 


У, =У 


р | 
Ир, 
или, в матричной форме, 
№ = И ст(сст)-+ Су. | | (36) 


Итак, вектор выражается через У асимптотической 
формулой (36). Следовательно, ковариационная матрица 
вектора № выражается через ковариационную матрицу 
орех У, К,==1— 997, формулой 

реек 1С](Г—997) 1—СТ(ССТ)= С] = | 

= [—997 —СТ(ССТ)=1С. 
325 


При выводе этой Фоны мы воспользовались соотно- 
шением Сд=0. 

Умножив (36) слева на матрицу С, получаем, СЯ =0. 
Это равенство дает $ скалярных соотношений между 
‘координатами вектора №. Кроме того, координаты век- 


тора № связаны скалярным соотношением д (9)7Т =0, 


где 9(6)—вектор с координатами И р, (6),..., Ир, (8). 
В пределе при п —+ со это соотношение переходит в то 
же соотношение, которым связаны координаты вектора У, 
9 =0. Таким образом, координаты вектора М свя- 
заны $--| скалярными соотношениями. Эго значит, что 
асимптотическое распределение вектора № является 
вырожденным нормальным распределением, сосредоточен- 
ным на (г—$—1)-мерном подпространстве, и, . следова- 
тельно, его ковариационная матрица К. имеет ранг 
г—5$—]. Воспользуемся теперь последним результатом 
примера 5.33. .Матрица А в этом случае представляет 


собой единичную матрицу /, а В=Ку*АК!* =К,. Таким 
образом, матрица В имеет ранг г —$ —1 и удовлетворяет 
соотношению К*=К„, в силу того же равенства Сд-==0, _ 
т. е. является матрицей проектирования на некоторое 
(Г—$—1)-мерное подпространство г-мерного простран- 
ства. | 

В соответствии с последним результатом примера 
5.33 отсюда и следует, что асимптотическим распреде- 
лением величины (=! служит )?-распределение 
сг—$ —1| степенями свободы. «4 | 
_ тот _ результат мы получили, предполагая, что 
оценка © параметра 6. является оценкой максимума 
правдоподобия. Однако этот результат верен и для слу- 
чая произвольной асимптотически нормальной и асимпто- 


тически эффективной оценки ©, так как все такие оценки 
с точностью до величины порядка о (п-!/?) совпадают и 
определяются формулой (35) (в противном случае отно- 
шения дисперсий этих оценок не могли бы сходиться 
к 1 при п-—+ 09). 

3.4. Оценивание параметров распределений методом 
минимума у?. Изложенный метод проверки гипотез о рас- 
пределениях естественно наводит на мысль искать такие 
оценки неизвестных параметров гипотетического распре- 
деления, при которых полученная реализация & =? меры 
расхождения 7 экспериментальных данных с гипотети- 
ческим распределением имеет минимальное значение. Так 
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мы приходим к новому методу нахождения оценок пара- 
метров распределения — методу минимума /?. 

В случае, когда вероятности р,,..., р, попадания 
в выбранные интервалы имеют непрерывные производные 
по всем координатам вектора 0, метод минимума %? дает 
для оценки параметра 0 уравнение 


< Р,=р, др < (2Р,—Р.)? др 
о м и 
>. Р, 09 >. У ' 


где, как всегда, 0/00 представляет собой вектор с коор- 


динатами 0/00,, ..., 9/00.. Учитывая, что пр,= т, пред- 
ставляет собой число экспериментальных точек в у-м 
интервале (у=1,...,г) и что Удр,/00=0 вследствие 


- равенства Ур =1, перепишем полученное уравнение 


в виде 
Г 
А т,— пр.) 91тр 
У, т, — У туб — 5 —0. 


\м=1 


Вторая сумма здесь обычно мала по сравнению с первой. 
Если пренебречь второй суммой, то уравнение минн- 
мума 9)? совпадет с уравнением максимума правдоподо- 
бия (7.31). Поэтому оценки минимума 5? обычно близки 
к оценкам максимума, правдоподобия. 

Метод минимума %?, как и метод максимума правдо- 
подобия, дает при весьма общих условиях асимптоти- 
чески эффективную и асимптотически нормальную оценку 
параметра 0 (как в случае скалярного, как и в случае 
векторного 0). 

3.5. Другие методы проверки гипотез о распределе- 
ниях. Кроме метода %х?, можно применять другие методы 
проверки гипотез о распределениях. Крамером [43], 
Мизесом [60] и Н. В. Смирновым [97] предложены кри- 
терии согласия, основанные на мерах расхождения, за- 


висящих от разности Р(х)—Р(х) —отклонения оценки 


Е(х) функции распределения от гипотетической функции 
распределения Е(х). К критериям такого рода относится 
критерий Колмогорова, основанный на предельном рас- 


пределении величины И=Уп тах | Р (х)—Р(х)| при 
п-—+ со в случае полностью заданной гипотетической 
функции распределения РЁ (х) скалярной случайной вели- 
чины Х. Пользуясь таблицей предельной функции рас- 
‘пределения Колмогорова К (и) (таблица 7), можно про- 
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верять гипотезы об одномерных распределения совер- 
шенно так же, как при применении Хх *-критерия. Задав 
достаточно малую вероятность р, можно найти по таблице 
‚функции К (и) 100р%-ный уровень значимости и,, опре- 
деляемый уравнением Р(И >и,)=1—К (и,)=р. Если 
полученное по результатам опытов значение и меньше 
критического значения и„, то можно считать, что резуль- 
таты опытов не противоречат гипотезе, что функция: 
‘распределения наблюдаемой величины Х есть Р(х). Если 
же и>и,, то эту гипотезу следует отвергнуть *). 

Аналогично можно пользоваться критерием Н. В. Смир- 
нова, основанным на найденном им предельном распре- 
делении величины пМ [| Р(Х)—Е(Х)[?|х., ..., х,|, кото- 
рое в случае скалярной величины Х не зависит от Ё(Х). 
Однако теория проверки гипотез, основанная на таких 
критериях, пока еще очень слабо разработана. Поэтому 
х?-критерий остается пока что единственным практически 
приемлемым критерием для проверки гипотез о распре- 
делениях, заданных лишь с точностью до неизвестных, 
подлежащих оцениванию по той же выборке параметров, 
и гипотез о многомерных распределениях. 

3.6. Проверка гипотез о независимости случайных 
величин. Вследствие универсальности 7?-критерия и его 
применимости к многомерным распределениям он может 
служить и для проверки множества гипотез других типов. 

Покажем, как можно с помощью 7?-критерия прове- 
рять гипотезу о независимости случайных величин. Пред- 
положим, что область значений величины Х разбита 
на г, интервалов, а область значений величины У — на 
г, интервалов. Пусть Р; и р;, случайная частота и 
вероятность попадания вектора [ХТ УПТ в пересечение 
{-го интервала значений Х и |-го интервала значений У 


((=1,..., Г; |=1,..., Г,). Если Х и У независимы, 
то ру=Р:.Р.» где р; и р.) и попадания Х 
в 1-Й интервал иУв [-й (1=1, ко ПЕ | 


Вероятности р;. и р.; можно рассматривать как и, Чу, —2 
неизвестных параметров распределения вектора [ХТУ7Г 
(с учетом соотношений У р;.= У р.,=1). Согласно ре- 
зультатам примеров 7.3 и 5.48 ффективными асимпто- 


*) Для проверки гипотез о распределениях по критерию Колмо- 
горова в [94] служит программа КОГМО, использующая для вычис- 
ления функции распределения К (и) программу ЗМ1КМ. 
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тически нормальными оценками вероятностей р;. и р.; 
могут служить соответствующие частоты 


Г 


Гз 
& —^ 29 —^ 
=> Р» Р:)= м Ру: 
= 


=1 


Поэтому величина 


—^ 


к Рин (87) 


=171=1 


имеет асимптотическое жены АР 
— (ии, —2) —1 = (г, — 1) (7, — 1) степенями свободы. Это 
дает возможность проверять гипотезу о независимости 
двух величин, как скалярных, так и векторных *). 

Совершенно так же проверяются гипотезы о незави- 
симости любого числа случайных величин. 

3.7. Проверка гипотез о совпадении распределений. 
К другому типу гипотез, проверяемых с помощью 7?-кри- 
 терия, относятся гипотезы. о совпадении распределений в 
нескольких сериях опытов, так называемые гипотезы 
об однородности статистических данных. 

Предположим, что в результате М независимых по- 


следовательностей опытов; содержащих п,, ..., Пл, наблю- 
дений, п... Пу=и, получены частоты попадания 
наблюдаемой величины Х в интервалы А, (у=1|,..., Г), 


на которые разбита ‘область ее возможных значений. 
Требуется проверить гипотезу о совпадении распределе- 
ний величины Х (или М№ различных наблюдаемых вели- 
чин) в этих А последовательностях опытов. 


Пусть Р,ь,—-случайная частота попадания наблюдае- 
мой величины в_\-й интервал в и-й последовательности 
опытов, р,—вероятность попадания в \-Й интервал 
(у=1,...,Г; и =], ..., М). Так как сумма независимых 
величин с 5?-распределениями имеет 5?-распределение 
с суммарным числом степеней свободы (пример 5.31), то 
случайная величина 


М ее д р 
Р‚..—р.,)? 
Н=Ул, У, (ыы) (38) 
р 
И=\ м = | у | 
при данных вероятностях р.,..., р, имеет асимптоти- 
*) В [94] для ‚проверки гипотезы о независимости двух случай- 


ных величин по 7*-критерию служит программа СН!5О0. 
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ческое у?-распределение с № (г—1) степенями свободы, 
если распределение наблюдаемой величины одно и то же 
во всех сериях опытов. Это дает возможность проверять 
гипотезу о том, что во всех М последовательностях опытов 
наблюдаемая величина имеет одно и то же распределе- 
ние, для которого вероятности попадания в интервалы 
имеют данные значения р,, ..., р,. 

Если гипотетическое распределение зависит от неиз- 
вестного 5$-мерного параметра 6, который оценивается по 
тем же результатам опытов, то можно пользоваться сле- 
дующей теоремой, которая доказывается путем очевид- 
ного обобщения выкладок п. 3.3: если пользоваться 
асимптотически эффективными и асимптотически нор- 
мальными оценками параметра 69 по объединенной груп- 
пированной выборке, то случайная величина 


2: > г 2 ь 
2 \ Р,—Р.)* 
= У У (39) 
=1 = 1 У 
имеет асимптотическое )?-распределение с М(г—1)—$ 
степенями свободы. Эта теорема дает возможность про- 
верять гипотезы о совпадении распределений в нескольких 
сериях опытов с одновременной оценкой их параметров. 
За неизвестные параметры распределения в таких 
задачах можно принять, в частности, вероятности 
р., ..., Р;-, р,=1— р, —..;: —Р,-.. В этом случае 
$=г—], а за оценки Р, вероятностей р, следует принять 
соответствующие частоты, вычисленные по объединенной 
выборке: 


г. 


м 
р,=1 У, пиВы, (у=1,...,г), У, Р,=|. (40) 
ИЕ \=1 

Величина 7, определяемая формулой (39), имеет в этом 
случае А = М (г—1)—(г—1) = (М— 1) (г —1) степеней сво- 
боды. Этим критерием можно, в частности, пользоваться 
для проверки гипотез о совпадении дискретных распре- 

делений. 
В частном случае при г=2 отсюда вытекает критерий 
для проверки гипотез о совпадении вероятностей события 
в нескольких сериях опытов. Полагая в (39) и (40) 


г=2, Ра=Р,, Риь„=1-—РЬ, 
м 
Р=Р=- У п,р,, Р,.=1—Р=0, 
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получим 


№ ^ ^ 
Р, —Р)? | 
ды У ль Ш И (41) 


Эта величина имеет асимптотическое у*-распределение 
с М—1 степенями свободы. С помощью этой величины 7 
можно проверять гипотезы о совпадении вероятностей 
интересующего нас события в нескольких сериях опытов. 

В случае скалярной наблюдаемой величины Х с не- 
прерывной функцией распределения для проверки гипо- 
тезы о ®овпадении распределений в двух выборках можно 
пользоваться критерием Н. В. Смирнова, аналогичным 
критерию Колмогорова |981. Пусть Ё, (х) и Ё, (х)— выбо- 
рочные функции распределения наблюдаемой величины 
в двух сериях опытов, состоящих из п, и п, опытов 
соответственно. Н. В. Смирнов показал, что если функ- 
ция распределения наблюдаемой величины Х непрерывна, 
то величина 


И = у ===. тах | К, (х) — А, (х)| (42) 


имеет то же предельное распределение Колмогорова при 
п, п, —* со, что и каждая из величин Ул, шах | Ё, (х) — 


—Е(х)| и Ул, шах | Р, (х)—Е (х)|. Это дает возможность 
проверять гипотезу о совпадении функций распределения 
в двух сериях опытов с помощью предельной функции 
распределения Колмогорова К (и) *). 


$ 4. Метод статистического моделирования 


4.1. Задачи статистического моделирования. Непосред- 
ственное экспериментальное изучение сложных случайных 
явлений часто требует чрезмерно больших затрат средств 
и времени, а иногда и принципиально невозможно. Так, 
например, экспериментальное изучениефункционирования 
сложной системы невозможно до тех пор, пока система 
не создана: и не изготовлена. Между тем необходимо еще 
на стадии проектирования системы изучить все ее основ- 
ные свойства, в частности эффективность ее функциони- 
рования с учетом всех действующих на нее случайных 


*) Для этого в [94] служит программа КОГМ2, использующая 
для вычисления К (и) программу М1 М. 
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возмущений. В таких случаях прибегают к статисти- 
ческому моделированию изучаемых явлений. Статисти- 
ческое моделирование в ‘простейшей форме издавна при- 
менялось для решения различных задач. Современная 
вычислительная техника дает возможность имитировать 
практически без ограничений сложнейшие явления и 
процессы. Это привело к созданию и развитию метода 
статистического моделирования как научного метода ис- 
следования, позволяющего сочетать теоретические рас- 
четы с имитацией различных экспериментов, а частично 
и с натурными экспериментами над отдельными элемен- 
тами исследуемых систем *). 

Метод статистического моделирования основан на мо- 
делировании (имитации) изучаемого явления на ЭВМ 
с помощью теоретических. зависимостей с. непосредствен- 
ным моделированием влияющих на его течение простейших 
(первичных) случайных факторов и на статистической 
обработке получаемых результатов. 

Метод статистического моделирования оказался пло- 
дотворным и для решения ряда математических задач, 
‚ не связанных с теорией вероятностей, например для 
вычисления интегралов, особенно многократных, решения 
некоторых уравнений и т.п. Применение этого метода 
к подобным задачам основано на моделировании такого 
случайного явления, вероятностными характеристиками 
которого служат искомые величины. 

Основой метода статистического моделирования яв- 
ляется моделирование случайных величин с заданными 
распределениями и событий с заданными вероятностями. 

4.2. Моделирование случайных величин. `Рассмотрим 
сначала способы моделирования скалярных случайных 
величин. На. основе результатов п. 5.2.3 для моделиро- 
вания случайной величины Х сс любой непрерывной 
функцией распределения Е (х) достаточно уметь модели- 
ровать случайную величину ТУ, равномерно распределен- 
ную на интервале ГО, 1]. Получив реализацию у вели- 
чины У, найдем соответствующую реализацию х вели- 
чины Х по формуле х= Е- (и). 

Для получения реализаций равномерно распределен- 
ных случайных величин применяются два принципа: 
физический и алгоритмический.\' 


*) Метод статистического моделирования часто, особенно в ино- 
странной литератуге, называют методом Л№онте-Карло. 
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Физический принцип основан на использовании слу- 
чайных физических явлений, например потоков частиц, 
испускаемых радиоактивными веществами, или собствен- 
ных шумов электронных устройств. Действуя на соответ- 
ствующие регистрирующие устройства, используемое 
физическое явление генерирует последовательность неза- 
висимых случайных величин У. И,, ..., каждая из кото- 
рых с вероятностью 0,5 принимает значение 0 или 1. Эту 
последовательность можно рассматривать как последо- 
вательность двоичных знаков числа, представляющего 
‚собой значение случайной величины 


Иа ИЕН 


Можно доказать, что при неограниченной длине после- 
довательности величина У равномерно распределена на 
интервале |0, 1|*). Реализации этой случайной вели- 
чины У вводятся в ЭВМ двоичными числами с тем 
числом знаков, с которым ЭВМ оперирует. 

Для получения реализаций равномерно распределен- 
ной случайной величины алгоритмическим путем в ЭВМ 
вводят произвольное-двоичное число, занимающее все раз- 
ряды или часть разрядов какой-либо ячейки оперативной 
памяти. Над этим числом выполняют ряд простейших 
операций по специальной программе. Над полученным 
числом вновь повторяют те же операции и т. д. Генери- 
‚руемая таким способом последовательность двоичных 
’ чисел, конечно, не будет случайной. Однако в достаточно 
длинном отрезке этой последовательности все числа 
с данным числом двоичных знаков ‘будут встречаться 
практически. одинаково часто. Поэтому взятое наугад 
число из этой последовательности можно считать реали- 
зацией случайной величины, равномерно распределенной 
на интервале [0, 1]. Благодаря этому свойству таких 
последовательностей они называются последовательно-о 
стями псевдослучайных чисел. Существуют много различных 
алгоритмов и программ формирования псевдослучайных 
чисел [100] **). 


*) См., например, [11, 30]. В действительности вследствие от- 
сутствия строгой независимости величин У+1, У., ... и из-за того, 
что вероятности значений 0 и 1 величин У, не равны 1/2, распре- 
деление величины У оказывается лишь приближенно равномерным. 

**) Для генерирования последовательности псевдослучайных чи- 
сел, равномерно распределенных на интервале [0,1], в [94] служит 
программа КАМОЦ. 
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В отличие от последовательностей, генерируемых 
физическими источниками случайных явлений, одна и 
та же последовательность псевдослучайных чисел может 
неограниченно повторяться. Поэтому одну и ту же реа- 
лизацию случайной величины можно использовать много- 
кратно. Это дает некоторые преимущества при решении 
ряда практических задач. 

Нормально распределенную случайную величину на 
основании предельной теоремы п. 5.4.1 можно модели- 
ровать как сумму независимых случайных величин, рас-‘ 
пределенных по любым законам. В частности, можно 
взять сумму независимых равномерно распределенных 
на интервале |0,1| случайных величин У,, ...,У,. На 
основании предельной теоремы и результатов примера 
3.3 случайная величина 


при достаточно большом п распределена приблизительно 
М (0, 1). При этом случайная величина (=т,-+ ХУД, 
будет распределена приблизительно М (т,, О, ) *). 
Моделирование векторной случайной величины сво- 
дится к последовательному моделированию ее координат. 
При этом первая координата моделируется. в соответствии 
с ее безусловным распределением, а каждая последующая 
координата —в соответствии с условным распределением. 
при полученных ранее значениях всех предыдущих коор- 
динат. Для моделирования случайного вектора Х, ‘рас- 
пределенного нормально М (т,, К„), можно воспользо- 
ваться любым каноническим разложением этого вектора: 


Х=т,-+ У У Хр; 
- .р=\ 


где г— ранг матрипы К,. Выбрав координатные векторы 
так, чтобы дисперсии величины У, были равны | ($ 3.4), 
сведем задачу к моделированию независимых случайных 
величин У,, ...,И,, распределенных М (0, 1). 


*) Для моделирования нормально распределенной случайной 


величины таким методом в [94] служит программа САЦ5$$, в которой 
принято п = 12. 


334 


_ 4.3. Моделирование событий, Для моделирования со- 
бытия А с вероятностью р достаточно моделировать 
случайную величину У, равномерно распределенную в 
интервале [0, 1]. При попадании этой величины в интер- 
вал [0, р] считают, что событие А появилось, а при непо- 
падании в интервал (р, 1|—что А не появилось. 

Точно так же для моделирования полной группы 
‚ несовместных событий Д,, ..., А, с `вероятностями 
р., .... р, р. -Ё...-р,-=1, достаточно моделировать 
величину У, равномерно распределенную в интервале 
[0, 1], и считать, ` что появилось А, при попадании У 
в интервал |0, р., появилось А, при попадании Ув ин- 
тервал (р., р. -Ёр.|, и т. д., появилось А; при попада- 
нии У в интервал (р... НР, 1, 1|. 

4.4. Практические приложения метода. Применение 
метода статистического моделирования для решения ве- 
роятностных задач сводится к многократному непосред- 
ственному моделированию на ЭВМ изучаемого явления, 
включая моделирование тех случайных величин и собы- 
тий, вероятностные характеристики которых известны, и. 
последующему статистическому оцениванию вероятност- 
ных характеристик полученных результатов. 

Так, например, при проектировании какой- -либо слож- 
ной технической системы обычно многократно моделируют 
функционирование системы и действующие на нее воз- 
мущения (входные сигналы), вероятностные характери- 
стики которых предполагаются известными. В результате 
моделирования получается ряд реализаций (выборка) всех 
величин, характеризующих работу системы (выходных ‘ 
сигналов). Статистическая обработка полученных данных 
дает оценки вероятностных характеристик величин, опре- 
деляющих качество работы системы (как правило, ее 
точность). Выполнив моделирование для ряда: вариантов 
и значений параметров системы, можно выбрать для 
дальнейшей разработки и реализации тот вариант, кото- 
рый наилучшим образом удовлетворяет поставленным 
требованиям. 

Большим достоинством метода статистического моде- 
лирования является возможность включения в процесс. 
моделирования некоторых реальных элементов системы, 
в том числе и не поддающихся математическому описа- 
нию, например человека или коллектива людей, участ- 
вующих в работе системы. Основным недостатком метода 
статистического моделирования является необходимость 
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многократного моделирования случайного явления, чтобы 
получить выборку, по которой необходимые статисти- 
ческие характеристики могут быть оценены с достаточной 
точностью (представительную выборку). 

4.5. Точность метола. Чтобы дать представление (6) 
зависимости точности метода статистического моделиро- 
вания от числа опытов, воспользуемся результатами 
$ 6.4, где было показано, что точность оценок 


п 1 п 
^ — | ^ —> р 
ть Будто, (фи 
Е = К=1 
математического ожидания и дисперсии нормально рас- 
пределенной величины У характеризуется средними квад- 
ратическими отклонениями 


тЫ 92 = 07 РИ 
В 


где с , — среднее квадратическое ‘отклонение величины У и 
В приведенной таблице показана зависимость относи- 
тельной точности оценок математического ожидания и 
дисперсии от числа опытов п. 


п 
Относительная 


0 
погрешность в % | 10 |020 | 30 | 40 | 60 | 80 | 100 | 150 | 200 


31,6| 22,4| 18,2 | 15,8 | 12,9 | 11,2 10 [8,2 |7,1 


47,2 | 32,4|26,3| 22,6 | 18,4 | 15,9 | 14,21 11,6 | 10,0 


Из: этой таблицы видно, что математическое ожидание 
можно оценить со средней квадратической погрешностью 
16 —19%, а дисперсию —со средней квадратической по- 
грешностью 23 —27% при п=30—40. Практически ре- 
комендуется и бЬ п > 100, что обеспечит оценивание 
математического ожидания и дисперсии со средними квад- 
ратическими погрешностями 10% и 15% соответственно. 


*) Формула для 0- верна при любом распределении величины У 
(пример 3.12). 
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4.6. Решение вероятностных задач. Простейшей вероят- 
ностной задачей, которую можно решить с помощью ста- 
тистического моделирования, является задача вычисления 
вероятности попадания векторной случайной величины, 
особенно многомерной, в данную область В. Непосредст- 
венное вычисление интеграла (2.9), как правило, невоз- 
можно, а приближенное вычисление путем численного 
интегрирования требует большого объема вычислений. 
Моделируя случайную величину Х с заданной плотностью 
1 (х), можно за оценку вероятности Р(ХЕВ) принять. 
частоту попадания Х в область В. Необходимый для 
расчетов объем вычислений будет, как правило, меньше, 
чем при численном интегрировании. 

Точно так же можно оценивать моменты различных. 
функций случайной величины Х как выборочные средние 
соответствующих функций, полученные в результате ста- 
тистического моделирования величины Х. 

4.7. Вычисление интегралов. Чтобы показать приме- 
нение метода статистического моделирования для реше- 
ния математических задач, не имеющих вероятностного 
содержания, рассмотрим задачу вычисления интеграла 


= \ Я ах. 
В 


Если область В ограничена, то ее можно заключить 
в некоторый прямоугольный параллелепипед № со сторо- 
нами, параллельными осям координат. Представим интег- 
рал Г в виде 


= (8-е ГЕо(Ю) = 
‚ МВ `В 


(8 ь (вах, 
Ю | 


где о(Ю)—объем параллелепипеда Ю; а 1; (х)— индика- 
тор области В, т. е. функция, равная | при ХЕВи 0 
при хЕВ. Последний интеграл можно к как 
математическое ожидание функции ф(Х)= (Х) 1 в(Х) о(Ю) 
случайной величины Х, равномерно распределенной в па- 
раллелепипеде Р. Моделируя эту случайную величину Х, 


можно получить оценку [ интеграла [.как выборочное 
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е 


среднее случайной величины ф(Х) = 2 (Х) 1, (Х)э(Ю): 


` 


= У вхо) 1 (0). 


1=1 


При произвольной области В можно взять произволь- 
ную плотность {(х), не обращающуюся в нуль нигде в В, 
например невырожденную нормальную, и представить 
интеграл Г в виде 


= (всоа=( 2 т (х) ах = \ < 181 (хх. 
в В -х® 


Го По) 


Последний интеграл можно рассматривать как математи- 
ческое ожидание функции ф(Х)=5(Х) 1, (Х)//(Х) слу-. 
чайной величины Х с плотностью /(х). Моделируя эту 
случайную величину Х, можно получить оценку / ин- 
теграла / как выборочное среднее величины Фф(Х) = 


= 2(Х) 1 (ХХ): 


п 
7_ | & (хг) 1в (х1) 
СЫ 
=1 
Чтобы дать представление о. преимуществах ` метода 
статистического моделирования перед методами числен- 
ного интегрирования, предположим, что для вычисления 
г-кратного интеграла / методами численного интегриро- 
вания требуется взять в области В т” узлов и что для 
расчета одного значения подынтегральной функции 2 (х) 
необходимо $г операций. Тогда для вычисления / мето- 
дами численного интегрирования потребуется $гт” опера-_ 
ций. При применении метода статистического моделиро- 
вания для вычисления / необходимо 5гп операций, где 
п — число опытов. Следовательно, относительный выигрыш 
машинного времени при применении метода статистиче- 
ского моделирования характеризуется отношением т’/п. 
Если считать минимальным необходимым числом узлов 


по каждой координатной оси т=5, то при п = 100 метод 


статистического моделирования даст существенную эконо- 
мию машинного времени уже при г=4-—5. При увели- 
чении кратности интеграла г преимущество метода ста- 
тистического моделирования растет как показательная 
функция. | 


Глава 9 


СТАТИСТИЧЕСКИЕ МОДЕЛИ, 1 


\ 


$ 1. Математические модели 


1.1. Модели теоретические и статистические. Для при- 
менения математических методов необходимо прежде всего 
установить соотношения между величинами, характери- 
зующими рассматриваемые явления. Каждое такое соот- 
ношение представляет собой математическую модель дан- 
ного явления. Так, например, законы Ньютона в меха- 
нике и вся построенная на них классическая механика 
представляют собой совокупность моделей механических 
явлений. Уравнения Максвелла в физике представляют 
собой математическую модель электродинамических яв- 
лений. 

В теории управления изучаются различные системы, 
поведение которых описывается некоторой совокупностью 
величин, причем одни величины носят характер внешних 
воздействий на систему и называются ее входными сиг- 
налами, а другие характеризуют работу системы, опре- 
деляют ее воздействие на другие системы и называются 
ее выходными сигналами. Зависимость выходных сигна- 
лов системы от ее входных сигналов, используемая для 
изучения системы и ее взаимодействия с другими систе- 
мами, представляет собой математическую модель этой 
системы. 

Во многих случаях математическую модель можно 
построить чисто математическим путем на основе извест- 
ных законов механики, физики и других дисциплин, 
пользующихся количественными соотношениями. Так, 
например, различные модели управляемого летательного 
аппарата можно построить математически, пользуясь за- 
конами механики. | 

‘Однако существуют и такие системы, для которых 
принципиально невозможно построить модели чисто мате- 
матическим путем. Пэимезами таких систем могут слу- 


339 


жить человек или коллектив людей, выполняющий опре- 
деленные функции, завод, отрасль промышленности, эко- 
номика и т. п. Современный научно-технический прогресс 
и все расширяющееся применение математических мето- 
дов требуют создания математических моделей и для 
таких систем. Они необходимы, в частности, для реше- 
ния современных задач управления. 

Для построения моделей сложных систем приходится 
прибегать к экспериментальному исследованию самих 
систем или входящих в них подсистем и строить соот- 
ветствующие модели путем статистической обработки по- 
лученных данных. 

Модели, полученные на основе статистической обра- 
ботки результатов экспериментального исследования функ- 
ционирования систем, будем называть статистическими 
моделями. Методы построения статистических моделей 
составляют важный раздел современной математической 
статистики. 

Построение математической модели реальной системы 
или пронесса часто называется идентификацией этой 
системы или процесса. Следует заметить, что это назва- 
ние не точно отражает существо данной задачи, так как 
никакая модель не может быть тождественна соответст- 
вующему реальному явлению *). 

1.2. Модели детерминированные и стохастические. Из 
сказанного следует, что задача построения модели явле- 
ния, процесса или системы состоит в нахождении соот- 
‘ношений между величинами, описывающими течение дан- 
ного явления, процесса или функционирование данной 
‘системы. Если эти соотношения позволяют по данным 
значениям одних величин однозначно определить значе- 
ния Других, то описываемая ими .модель называется 
детерминированной. Если же эти соотношения по данным 
значениям одних величин определяют другие как слу- 
чайные величины, то описываемая ими модель называется 
стохастической. 

Как теоретические модели, выводимые математически 
из первичных законов, Так и статистические модели, по- 
лучаемые на основе статистической обработки результа- 
тов наблюдений, могут быть детерминированными или 
 стохастическими. Так, например, зависимость У =ф(Х), 


*) Английские слова «14еп{ у» и 44епИИсаЙоп» означают «тож- 
дество» и «отождествление». _ 
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устанавливаемая по результатам наблюдений случайных 
величин Х и У методом наименьших квадратов, пред- 
ставляет собой детерминированную модель. Если же 
учесть наблюдаемые в результате опытов случайные от- 
клонения экспериментальных точек от кривой а ф (х) 
и написать зависимость У от Х в виде _ 


У=Ф(Х) + 2, 


где 2—некоторая случайная величина, то получится 
стохастическая модель. При этом величины Х и У могут 
быть как скалярными, так и векторными. Функция ф (х) 
может быть как линейной комбинацией данных функций, 
так и данной нелинейной функцией, параметры которой 
определяются методом наименьших квадратов. Число и вид 
функций в линейной комбинации, а также вид нелиней- 
ной функции ф(х) и число определяющих ее параметров 
могут быть любыми. 

Приведенный простой пример показывает, что одному 
и тому же явлению могут соответствовать различные 
модели. Пооблема построения модели системы включает 
и выбор подходящей формы этой модели, а также разум- 
ной степени ее сложности, совместимых с имеющимися 
экспериментальными данными. 

1.3. Роль математических моделей. Математические 
модели являются мощным инструментом познания реаль- 
ного мира. Они применяются для различных расчетов, 
проектирования систем, управления процессами и систе- 
мами, прогнозирования разных явлений и т. д. Матема- 
тически модели дают возможность открывать и предска- 
зывать новые научные факты и закономерности. 

Применение математических моделей в основном сво- 
дится к определению значений некоторых величин по 
известным значениям других величин. Значения послед- 
них могут быть или получены в результате наблюдений, 
или задаваться из каких-либо соображений. Так, напри- 
мер, измеряя какую-либо величину, мы наблюдаем только 
результаты измерений, по которым требуется определить 
значение самой измеряемой величины. При прогнозиро- 
вании погоды по измеренным значениям параметров со- 
стояния атмосферы в одних точках пространства в один 
период времени предсказываются их значения в других 
точках и в другой период времени. При применении мате- 
матических методов в медицинской практике по резуль- 
татам обслелования папиента должна решаться задача 
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распознавания болезни, которой он страдает, и опреде- 
ления соответствующих методов лечения. Аналогичные 
задачи распознавания возникают во многих других обла- 
стях. о 

Современное состояние и развитие вычислительной 
техники дают возможность автоматизировать некоторые 
виды умственной деятельности человека, т. е. приступить 
к решению проблемы создания искусственного интеллекта. 
Это особенно важно для разработки автоматических 
устройств — роботов —для выполнения работ в таких усло- 
виях, в которых человек не может существовать. Такие 
роботы должны согласовывать свои действия с изменяю- 
щимися условиями и вновь возникающими обстоятель- 
ствами и, следовательно, распознавать ситуации и в соот- 
ветствии с этим принимать решения. Не менее важны 
для современного научно-технического -прогресса задачи 
создания автоматических систем, читающих и анализирую- 
щих рукописные тексты, а также систем, анализирующих 
человеческую речь. Такие системы должны распознавать 
рукописные буквы, цифры и другие изображения или 
соответственно звуки человеческой речи (фонемы) и опре- 
делять их смысловое содержание. Объединив алгоритм 
распознавания человеческой речи с алгоритмами перевода 
с одного языка на другой, можно будет создавать авто- 
матические системы для синхронного перевода. речи на 
несколько языков. Наконец, при использовании ЭВМ для 
обучения людей также необходимы алгоритмы автомати- 
ческого распознавания характера ошибок, допускаемых 
обучаемыми, и определения уровня их знаний. Человек 
в своей практической деятельности повседневно решает 
различные задачи распознавания. Для создания автома- 
тических распознающих систем необходимы соответствую- 
щие модели процессов распознавания. 

Все расширяющееся проникновение математических 
методов в сферу управления ставит задачу создания мо- 


делей и для процессов принятия решений. Руководитель 


любой организации по полученной информации (которую 
всегда можно представить в виде совокупности значений 
некоторых величин) должен принять решение (которое 
тоже можно представить в виде совокупности значений 
определенных величин). Современная вычислительная тех- 
ника может помогать руководителям принимать наиболее 


‘научно обоснованные решения и Тем самым повышать 


эффективность управления, но для этого необходимы соот- 
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ветствующие модели процессов обоснования и принятия 
решений. 

Перейдем теперь к изучению методов построения ста- 
тистических моделей. При этом мы ограничимся только 
такими моделями, которые описываются соотношениями 
между конечномерными векторами. К таким моделям от- 
носятся, в частности, все дискретные системы, входные 
и выходные сигналы которых ‘действуют только в опре- 
деленные дискретные моменты времени. Для построения 
более сложных статистических моделей, в частности мо- 
делей, входные и выходные сигналы которых представ- 
ляют собой функции непрерывно изменяющихся аргу- 
ментов, необходимо применение теории случайных функ- 
ций — раздела теории вероятностей, выходящего за рамки 
этой книги *). | 


$ 2. Регрессионные модели 


2.1. Регрессия как оценка зависимости случайной вели- 
чины от другой величины. Рассмотрим задачу определе- 
ния значения случайной величины по данным значениям 
другой величины. Пусть У — случайная величина, значе- 
ния которой требуется определить, х— известная вели- 
чина, которая может представлять собой наблюденное 
значение некоторой случайной величины Х или заданное 
значение некоторой переменной. Как х, так.и У могут _ 
быть скалярными или векторными величинами. Распре-_ 
` деление случайной величины У в общем случае зависит 
отх. | | 
С точки зрения математической статистики поставлен- 
ная задача представляет собой задачу оценивания зна- 
чения ненаблюдаемой случайной величины У по данному 
значению величины х (в частности, по полученному в ре- 
зультате наблюдения значению х случайной величины Х). 


Пусть и=у(х)— оценка значения величины У при 


данном х. Ошибка этой оценки у—У представляет собой 
случайную величину. В соответствии с п. 6.2.1 точность 
оценки и целесообразно характеризовать средним квад- 
ратом ошибки при данном значении х: 


ех=мя®-—У[1х]. (1) 


*) Эти вопросы будут рассмотрены в книге «Случайные функции», 
которую автор готовит к печати. 
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‚Рассмотрим сначала случай скалярной величины У’. 
Из формулы (3.31) следует, что средний квадрат ошибки 
оценки у будет минимальным, если принять за и мате- 
матическое ожидание случайной величины У при данном х: 


у(х) = т, (х) =М [У [4]. (2) 


Эта формула определяет наилучшую оценку величины у 
при данном. х. 
В случае векторной величины. У =[У:... У, 


(д) =мМ9-—УР] = Хм, Умма. _@) 


Отсюда видно, что величина #(х) минимальна тогда и 
только Тогда, когда каждое слагаемое в (3) имеет мини- 
мальное значение. Следовательно, формула (2) определяет 
наилучшую с точки зрения минимума величины г оценку 
при каждом х и для векторной случайной величины У. 


Зависимость оценки у величины У от х, определяемая 
формулой (2), представляет собой регрессию У на х 
(п. 4.3.2). Таким образом, оптимальной оценкой зависи- 
мости У от х служит регрессия У на х. В частности, 
оптимальным прогнозом величины У по данному значе- 
нию х будет прогноз по регрессии. 

Модель, определяемая регрессией У нах, называется 
регрессионной моделью. Регрессионные модели широко 
применяются для описания функционирования различных 
систем. 

2.2. Средние квадратические регрессии различных клас- 
сов. Оценивание по регрессии возможно только в том 
случае, когда регрессия известна. Если регрессия не 
известна или определяемая ею зависимость слишком сложна 
для практической реализации, то приходится искать 
оценку зависимости У от х в некотором ограниченном 
классе функций. При этом уже не удается обеспечить 
минимум среднего квадрата ошибки #(х) при каждом 
значении х. Поэтому обычно ищут оценку зависимости У 
от х в данном классе функций из условия минимума 
среднего значения величины &(х) в интересующей нас 
области изменения х. | 

Предположим сначала, что х представляет собой зна- 
чение некоторой случайной величины Х. Тогда естест- 
венно рассматривать средний квадрат ошибки как функ- 
цию случайной величины А и за ее среднее значение 
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в области изменения х принять ее математическое ожи- 


дание. Пусть иу(х)— искомая оценка зависимости У отх 
в некотором классе функций У. Рассматривая эту оценку 


как функцию у(Х) случайной величины Х, получим на 
основании (1) значение среднего квадрата ошибки оценки 
как функцию случайной величины Х: 


г (Х) =МЦу(Х)—УР|Х]. 


Взяв математическое ожидание этой величины и поль- 
зуясь формулой полного математического ожидания (4.34), 
получим среднее значение величины &: 


е=М19(Х)—У. .(4) 


Предположим теперь, что х —неслучайная перемен- 
ная, изменяющаяся в некоторой области В, и за среднее 
значение величины #(х) принимается 


= р) =) 4х, 
72. 


где р(х)—некоторая функция веса, обладающая свойст- 
вом (как и всякая функция веса при определении взве- 
шенного среднего) 


В частном случае, когда всем значениям х в области В 
придается один и тот же вес, р(х) = Ич(В), где э(В) — 
объем области В. Очевидно, что этот случай сводится 
к предыдущему, если считать х значением случайной. 
величины Х, плотность которой равна р(х) прихЕВи0 
при х6В. Следовательно, формулу (4) можно считать 
общей формулой для определения среднего >начения вели- 
чины в интересующей нас области изменения х. 

_ Таким образом, наилучшей оценкой зависимости У 
от Хх в заданном классе функций ЧФ является функ- 


ция и(х), реализующая минимум безусловного матема- 
тического ожидания квадрата модуля ошибки. | 


` Оценка у(Х) случайной величины У, принадлежащая 
определенному классу функций Ч, для которой математи- 
ческое ожидание квадрата модуля ошибки (средний квад- 
рат ошибки) достигает ‘минимума, называется средней 
квадратической регрессией У на х класса Ч. В частности, 
линейная функция, реализующая минимум среднего квад- 
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рата ошибки = в классе линейных функций, называется 
линейной средней квадратической регрессией У на х. 

2.3. Оптимальные оценки. Покажем, что средняя ‘квад- 
ратическая регрессия класса %Ф представляет собой наи- 
лучшее среднее квадратическое приближение регрессии 
т, (х) = МТУ |х| в этом классе функций Ч. 

№ Заметим, что на основании (3.31) 


м 9 о-Умх1 = Хм 5,4% РУ, Х] = 


= АМ т, (Х)—У›РХ +19, (Х) —т, (Х) В} = 
=М[т, (Х)— УХ] |9 (Х)—т, (Х) [. 


Взяв математическое ожидание этой случайной величины, 
на основании формулы полного математического ожида- 
ния (4.34) получаем 


е=М|у(Х)—У[Р=М т, (Х) —У-ЕМ [9 (Х) — т, (Х) |. 
| (5) 
Так как первое. слагаемое в правой части не зависит от 


функции у(Х), то = достигает минимума тогда и только 
тогда, когда минимально второе слагаемое. 44 


Оценку у (х) регрессии т, (х)=М [У | х|, минимизирую- 
щую средний квадрат ошибки в в классе функций. Ч, 
‘будем называть оптимальной оценкой в классе Ф. 

Из (5) видно, что если регрессия т, (х) содержится 
в классе функций ЧФ, в котором ищется оптимальная 
оценка, в частности, если Ф совпадает с множеством всех 
функций переменной х, то оптимальной оценкой регрес- 
сии служит сама регрессия. | 

Регрессия является единственной оценкой, реализую- 
щей минимум условного математического ожидания квад- 
рата модуля ошибки при каждом данном значении х. 

2.4. Необходимое и достаточное условие оптимально- 


сти. Покажем, что и(х) представляет собой оптимальную 
оценку в классе функций ЧФ, если для любой функции 
<) ЕТ 
Му(хХ)* [9 (Х)—У] = М [9 (Х)—У](Х*=0*). (6). 
*) Как всегда, звездочка означает транспонирование матрицы 
с заменой всех ее элементов соответствующими сопряженными ‘чис- 


лами. Первое равенство (6) верно в силу соотношения аб = фа, 
‘справедливого для любых матриц-столбцов (векторов) а и 6. 
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№ Пусть \1(х)— произвольная функция класса ФТ, 


и (х) —оптимальная оценка У в классе 4. Если принять 
за оценку У функцию ф(Х), то будем иметь 


=М|ф(Х)—У Р=М [9 (Х)-У-У(Х) —9(Х) = 
= М |9 (Х) —УР-М [$ (Х) —и (ХР + 
- М [Ф(Х)* —9(Х)* [У (Х)—У]- 
+М [9 (ХУ (Х) —9(Х)]. (1) 
Если условие (6) выполнено для любой функции 1 (х) Е Ч, 
то оно выполнено и для  (х) =и(х). В этом случае 
М [ф(Х)*—9(Х)| [7(Х)—У]=0, 
Му (Х)*—У* у (Х)—9 (Х)] = 
= М (ХИ ОУ =0 
и (7) принимает вид = : 
г=М|ф(Х)—УЁР=М [у (Х)—УР-М 1$.) — у (Х) |. 
Отсюда видно, что = достигает минимума тогда и только 
тогда, когда 1 (х) == у(х). Таким образом, условие (6) 
достаточно для оптимальности оценки у(х). 
Докажем, что если класс функций Ф представляет 


собой линейное пространство *), то условие (6) необходимо 
для оптимальности оценки у(х) ЕТУ. 


*) Множество [. называется линейным или векторным простран- 
ством, если оно удовлетворяет условиям: 

1) для любых х, иЕЕЁ однозначно определен элемент 2Е[, на- 
зываемый суммой х и и, 2=х- и; 

2) для любэго хЕЁ и числа @ однозначно определен элемент 
и ЕТ, называемый прои зведением х на число а, и=ах; 

3) в [. существует нулевой элемент 0 такой, что х-- 0 =х, 0.х=0 
для всех хЕГ; 

4) операции сложения и умножения на число обладают свой- 
ствами: 


хи=и-х (коммутативнссть); 
(хи -Е2=х-- (и 2), 
о Вл) — В) х (ассоциативность)}; 
а (х-- у) =ах-- ау, (дистрибутивность). 


(«-- В х=ах-- Вх 

В зависимости от того, определена операция ‘умножения на число 

для всех комплексных чисел или только для действительных, Ё на- 

зывается комплексным линейным пространством или, соответственно, 
действительным линейным пространством [42]. 
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№ Предположив, что существует функция 1}, (х) ЕТ, 
для которой 


Мф» (Х)* [9 (0 —У=а=е0, 


определим функцию 


У =у®— т Х = 


Так как Ф — линейное пространство, то р (х) Е Ф. Вычис- 
лим средний квадрат ошибки для оценки ф (х). В дан- 
ном случае 


Мф (0—9 (= р 
М [$ (Ху*— «ХХ У] = | 
№ 1 [2 
| — ить сое М (Х)* Е и(Х)—У |= — мтс, 
МТУ (ХУ ИА (фу | 
= м № (Х)*— (ХУ УЕ. 
Подставив эти выражения в (7), получим 
2 
= М|ф(Х)—УР=М |9 (ХУ рот. 


Отсюда следует, что оценка 1ф(х) лучше оценки и (х). 
Таким образом, если существует функция ро (х) ЕТ, ДлЯ 


которой условие (6) не выполнено, то оценка и(х) не 
может быть оптимальной. Следовательно, выполнение 
условия (6) для всех 1 (х)Е Ф необходимо. < 

2.5. Линейные регрессионные модели. Найдем опти- 


мальную оценку у(х) величины У в классе линейных 
функций, т. е. линейную среднюю квадратическую рег- 
рессию У на Х. 


Положив в (6) и(Х) =еХ, ф(Х)=АХ, получим 
ГМ (вх — У) Х*й* = 0, 
или, в силу того, что МХА* =Г,,, МУХ*=Г,, ($ 3.3), 
Ы (8Г,— Г) А* =0. (8) 


Это равенство справедливо для любой матрицы й тогда 
и только тогда, когда 


| Г = Гу. 1 (9) 
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Действительно, если какие-нибудь элементы матрицы & = 
= 6Г,—Г., отличны от нуля, то, положив й =@, получим 
и (Г. — Г») А* = М аа" 20, если хотя бы один элемент 
матрицы &@ отличен от нуля ыы 

Так как класс линейных функций представляет собой 
линейное пространство, то (8), а следовательно и (9), 
необходимо и достаточно для оптимальности оценки и (х) = 
= бх. Таким образом, матрица х, соответствующая опти- 
мальной линейной оценке, определяется уравнением (9). 

Заметим, что уравнение (9) можно представить в виде 


М (У—У) Х*=0, (10) 


где У=оХ. Из (8) следует также, что для любого раз- 
биения вектора Х на блоки, ХТ = [АЛГ, ..., ХА], оптималь- 


ная оценка У удовлетворяет также условиям 
МУХ; =0 (= ..., М). _(11) 


Действительно, разбив матрицу Й на ‘соответствующие 
блоки й=|И,...Йх| и положив й,=0 при 1==А, выведем 
(11) из (8) совершенно так же, как было получено (9). 

Оценка иу(х)= вх, определяемая уравнением (9), в об- 
шем случае будет смещенной, Му(Х)= М (8Х›=Е МУ. Для 
устранения смещения достаточно добавить к вх ссответ- 
ствующее постоянное слагаемое. 


№» Положив в (6) у(Х) =5Х -а, ф(Х) = АХ +-Ь, в силу 
соотношений 


Г=К, ти, Ги Ки-тмй (12) 
получаем | 
г [(2К,— К,» И -- (вт, —т, | а) (т» й* - 5*)] =0. (13) 


Это условие должно выполняться для любых матрицы Й 
и вектора 6. Положив, в частности, в = — йт,, будем 
иметь | 


(ак, Ки) =0 


*) След матрицы 00” равен сумме квадратов модулей всех эле- 
ментов матрицы ©: 


7 т т 
ы Ел № и о 
а" = № ($ вый = ь [14а |“. 
р=1 \9=1 р, 4=1 
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Отсюда совершенно так же, как в предыдущем случае, 
‚ получаем уравнение для матрицы в: 


ЕК, = Ку». (14) 


При этом условие (13) будет выполняться для любых 
матрицы Йй и вектора В тогда и только тогда, когда 


а=т,—вт,. (15) 


%* 


Таким образом, оптимальная линейная оценка со сдвигом. 


у=ех--а (линейная средняя квадратическая регрессия) 
определяется уравнением (14) и формулой (15), которые 
представляют собой необходимые ‘и достаточные условия 
оптимальности. < 

Если регрессия У на Х линейна, то на основании 
сделанного выше замечания функция иу(х) = вх --а, где в 
и а определяется уравнением (14) и формулой (15), сов- 
падает с регрессией. | 

Заметим, что линейную функцию со сдвигом вх-а 
можно рассматривать как частный случай линейной функ- 
ции вх. Действительно, добавив к вектору х еще одну 
координату, равную 1, т.е. положив х’ = [хТ 1Т, и вводя 
матрицу 5’ = [в а], получим ох На=в’х’. Соответственно 
уравнение (14) и формула (15) получаются из (9) в част- 
ном случае, когда одна из координат вектора х равна |. 

В частном случае, когда векторы Х и У действительны 
и их совместное распределение нормально, регрессии 
всегда линейны ($ 4.4). Поэтому уравнение (14) и фор- 
мула (15) определяют регрессию проекции У нормально 
распределенного случайного вектора [ХТ УТ]Т на его 
проекцию Х на дополнительное подпространство. Формула 
(4.55) и уравнение (4.57), определяющие. регрессию одной 
координаты нормально распределенного случайного век- 
тора на все`остальные его координаты, вытекают из полу- 
чённых результатов как частные случаи. 


Пример 1. Пусть [(х, у) — совместная плотность случайных 
векторов Х и У, ту, К, —математическое ожидание и ковариацион- 
ная матрица вектора Х, причем определитель | К ; | отличен от нуля. 


В этом случае определитель матрицы Г; =К»-- тхтх строго положи- 
телен и уравнение (9) имеет единственное решение 


|) | ее) 


= Гут! = (ТГ: Ка, уахау= \ ту (9 хТГи р 6) 4х, 


-х -°» _- 5 
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где |: (х) — плотность вектора Х. Эта формула вместе с приближенной 
формулой т, (х) = &х дает статистическую линеаризацию регрессии 
ту (х) по Бутону *). | 

Пример 2. В условиях примера | уравнение (14) имеет един- 
ственное решение 


Е=КихКЕ = | | ф—т,) («— ть) КЕ" Га, Ш) ха 


=) 


=} мф-п к -—тутКЯ В 69 ах. 


_-х 


Эта формула вместе с приближенной формулой т, (х) = ту-|- & (х— ту) 
дает статистическую линеаризацию регрессии т, (х) по Казакову. 
Таким образом, в основе статистической линеаризации лежат линей- 
ные регрессионные модели. 


2.6. Решение уравнений, определяющих линейную ре- 
грессию. Для решения уравнения (14) можно использо- 
вать различные вычислительные методы и соответствую- 
щие машинные программы [1, 94, 107]. Одним из наиболее 
удобных методов решения уравнения (14) является метод, 
®снованный на каноническом разложении случайного век- 
тора Х. Пусть 


Х=т,-+ ХИ,х, | (16) 
р=1 


— какое-нибудь каноническое разложение вектора Х, 

›...,/, векторы, удовлетворяющие вместес координат- 

ными векторами х,, ..., х, условию биортогональности 

Пхо=х,=6. ( =], г). При этом в силу (3.71) 

р ^а— 41 р—Ора \Р, 9 = А р ух. 
РН —1 РН 0 __ ` 

персия величины И,. 

№ Будем искать решение уравнения (14) в виде 


в = 2 р (17) 


*) Бутон [12] и Казаков [31] независимо друга от друга разра- 
ботали метод статистической линеаризации для приближенного иссле- 
дования точности нелинейных систем. Они рассматривали случай 
скалярных Х и У=ф(Х) при заданной функции ф (х). Впоследствни. 
Соммервил и Атертон [101], Казаков [32] и другие распространили 
этот метод на векторные Х и У (см. также сбзор [95]). 
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Для определения неизвестных коэффициентов с,, ..., с, 
подставим РВ ОВИЕ (17) в (14): 


р Ку = Ку». 


Учитывая, что ых получим 
Г 


+ 
>, ре 


и | 
Умножив это уравнение справа на [, и заметив, что 
* ЛЬ | 

ХР Хр а = бра» получим 
са = Ку. 


Отсюда находим 

Ср=Т > Кир (р=1, а Г). 
Подставив это выражение в (17), будем иметь 

Г 
1 И 
=, 5 Кузыр + (18) 

| р=1 7 | 

Остается убедиться в том, что определяемая этой форму- 


лой матрица & удовлетворяет уравнению (14). Для этого 
заметим, что в силу (16) 


К „= Му°Х* = р МУ „х 
Так как Ур = {р = Хи, 
мут,= -мухч,- КТ» 
-У Кр = Уз тра Ку К 


То же получается, если (18) умножить справа на К,;: 


г. | В 
вК,— > р, Кори Ки. 


Следовательно, матрица ;х, т формулой (13), 
удовлетворяет уравнению (14). 

_ Формула (18) дает решение уравнения (14) как в том 
случае, когда определитель матрицы К „ отличен от нуля, 
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так и в том случае, когда он равен нулю. Во втором 
случае общее решение уравнения (14) получится прибав- 
лением к правой части формулы (18) произвольной ма- 
трицы й, удовлетворяющей уравнению ИК, =0. 

> Для решения уравнения (9) представим его с помо- 
щью соотношений (12) в виде 


&К,= Кук Е Мп» = (19) 
где 
А=т,—вт,. | + @0) 
Так как уравнение (9 линейное, то его решение 
‘имеет вид | 
| = Абу, ой (21) 
где 5, и 5, —решения уравнений 
| К х = Кух» 9 = Ты (22) 


Решение первого из этих уравнений дается формулой (18). 
Чтобы решить второе, ‘представим ковариационную ма- 
трицу К, каноническим разложением (3.75): — * 


я 
< * 
К, 2 Вр 

Тогда второе уравнение (22) примет вид 


в 
о МА 
р Рр9х Хр = Ту. 


Очевидно, что это уравнение имеет решение только в том 
случае, когда математическое ожидание т, представимо 
разложением по координатным векторам: 
г 

ту = ры (р т,.) = (т Т,) Хр. (23) 
А это будет или когда определитель матрицы К, отличен 
от нуля, или когда вектор т, принадлежит подпростран- 
ству, на котором сосредоточено распределение центриро- 
ванного вектора Х°. Если ни одно из этих условий не 
выполнено, то второе уравнение (22) не имеет решения. 
Предположив, что 1, предетавимо разложением (23), 
совершенно так же, как и раньше, найдем решение вто- 
рого’ уравнения (22) в виде | 

Г 


-—ч 1 . „— 
а 2 роты. (24) 
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Определив 8 И &1 и подставив выражение (21) в (20), 
найдем №: 


И, (25) 


Формулы (18), (24), (25) и (21) дают решение уравне- 
ния (9). | 
Если ранг р матрицы К, меньше размерности г. век- 
тра Х, то согласно $ 3.4 хр+1=...=х,=0, Ор+ 
‚. =), =0 и суммирование по р В `(16), (17), (18), (23). 
И ` (24) производится от | до 0. 

Если математическое ожидание т. не может быть 
представлено разложением (23), то уравнение (19) имеет 
решение, для которого ^=0, и, следовательно, &т,, = ту. 
Чтобы получить это решение, положим (в этом случае 
оЖГИ Хр+1==...=4, = 0) 


== х (Ит.) Хр 


и определим матрицу-строку 


г 
5*, ч т 
И 5 — уз У рГр 
р=1 
так, чтобы было 
Хх, =0 [О вы о 
Для этого в силу условия о а =6, « Достаточно взять 


7а= — $*Ха О И Очевидно, что матрица | 
Вор: однородному уравнению 


ВА: =0. 


Чтобы убедиться в этом, достаточно воспользоваться кано- 
ническим разложением матрицы А,. Тогда получим 


Ге] 
®К,=В р Бр = > Бр (Их) хь=0. 
в=1 - 


В силу этого матрица п 
| = ный 

при любой матрице-столбце. ц удовлетворяет уравнению 

ВК, = Кук, 


т.е. уравнению (19) при ^=0. Остается аа ц так, 
чтобы было ^=0. Подставив найденное решение & в (20), 
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находим 
А= т, — вт, =т,— бт, — ийт,, — т, — Вох — И, 


так как йт, = йз = 5*5/| $|"=1. Положив и=т „—&т,, 
будем иметь ре 0. При этом формула в _ 


в=в, (т, —вт х) В . (26) 


определяет решение уравнения (9). В этом можно убе- 

диться и непосредственной подстановкой выражения (26) 

в (9) с учетом первого уравнения (22) и равенств ЙК „ = 

= 0, Ит, = | 
2.1, Детерминированные и стохастические регрессион- 

ные модели. Регрессия т, (х) и ее оптимальная оценка 


у(х) представляют собой детерминированные регрессион- 
ные модели. Для получения стохастической регрессион- 
ной модели достаточно. представить величину У в виде 
У=т, (1 или У=иу(х)- 21, где й и 1, —некоторые 
случайные величины. 

Из (9), (14) и (15) видно, что для нахождения детерми- 
нированной линейной регрессионной модели достаточно 
знать математические ожидания т,, т, векторов Хи У 
и ковариационные матрицы А Аа “Для нахождения 
стохастической линейной регрессионной модели необхо- 
димо еще знать распределение случайной величины У при 
любом х или, По крайней мере, ее математическое ожи- 
дание т, (х) (регрессию) и ковариационную м. К и (Х) 
(совпадающую с ковариационной матрицей К, (х) вели- 
чины Д). 

Более бе задача наилучшего приближения регрес- 
сии конечной линейной комбинацией заданных функций 
ф: (Хх), ..., Фми(хХ) сводится к задаче наилучшего линей- 
ного приближения регрессии, так как любая линейная 
комбинация функций ф, (х), ..., фл (х) представляет собой 
линейную функцию переменных 2, = ф1(х), ..., ём= Фк(хХ). 


Пример 3. Пост роить оптимальную полиномиальную регрес- 
сионную модель в случае скалярных ХиУ. | 

Полагая 21=х, 20=5?, ..., вм=хМ, г=[ а.. ‚гит = 
= [а51...@м|, сведем задачу к нахождению линейной модели и (х) = 5г. | 
Уравнение (9). в этом случае принимает вид . | 


Г м сем | 
О а о 
ЧМ ЧМ+1... М | 
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где ар = МХР—р- -й момент величины Х,‚ ау, = МУХРЫ (р-- 1)-й мо- 
мент случайного вектора [Х У]Т, содержащий У в первой степени. 
Полученное уравнение определяет полиномиальную среднюю квадра- 
тическую регрессию, У на Х степени №, которая и служит оптималь- 
ной полиномиальной регрессионной моделью. 

Аналогично строятся оптимальные полиномиальные -регрессионные 
модели в случае векторных Х и У. 

Для решения уравнения, определяющего полиномиальную регрес- 
сионную модель, применяются те же вычислительные методы, что и 
лля линейных моделей. В частности,. можно пользоваться канониче- 
‚ скими разложениями. В рассмотренном случае скалярной величины Х 
для этого достаточно найти методом $ 3.4 каноническое разложение 
случайного вектора 2=[1Х...ХМ]. 


$ 3. Оценивание регрессий 


3.1. Оценка матрицы коэффициентов линейной регрес- 
сии. Если математические ожидания т,, т, и ковариа- 
ционные матрицы К, Кух не известны, то длЯ. нахождения 
линейной регрессионной модели приходится оценивать по 
результатам опытов матрицу 5, а в случае стохастической 
линейной модели и статистические характеристики вели- 
чины У при каждом данном х. 

Как всегда в задачах математической СИИ бу- 
дем считать все величины действительными. 

Предположим, что в результате п независимых опытов 
получены пары значений (х., и), ..., (х„, и.) величин 
хиУ. Для нахождения линейной оценки регрессии и (х) = 

ох естественно применить метод наименьших квадратов 


(п. 1.2.8). Тогда матрица © определится из условия МИНИ- 
мума величины 


п | | 
8 == р | ук ах» Р. ее 


Это выражение отличается от (4) при у(х) = 0х только 
тем, что вместо знака математического ожидания стоит 
знак суммы. Поэтому уравнение для матрицы о получается 
заменой в (9) математических ожиданий соответствующими 
суммами: | | | 

п п 


№ 1 
| ‚ХЕ =, 2 УЕ . | _ (27) 


Вводя матрицы 
| п п 
а р 
А = р хх, В= 2 УвХь › (28) 
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перепишем (27) в виде ©А = В. Это уравнение имеет един- 
ственное решение тогда и только тогда, когда матрица А 
неособенная. Этого всегда можно достичь выбором х/, ... 
..., Х, ИЛИ изменением числа опытов. В этом случае 
решение уравнения (27) дается формулой 


в=ВА- —* = ХУ иА- к 


3.2. Статистические свойства оценки. Изучим стати- 
стические свойства ‘найденной оценки матрицы д. 
№ Рассмотрим сначала случай, когда х — неслучайная 


переменная. В этом случае © представляет собой получен- 
ную в результате опытов реализацию случайной величины 


(= р У,хГА-", (29) 
где У., ..., У,—случайные значения величины. `У прип 
опытах. .Из (29) следует, что 

= Ут, о) А-а. _  в0 


В частном случае линейной регрессии т, (х) = &х фор- 
мула (30) принимает вследствие (28) вид 


. _  Ма= а хит А- в. 


Таким образом, в случае линейной регрессии С представ- 
ляет собой несмещенную оценку матрицы в. 


Для исследования рассеивания оценки С обозначим 


^ 


С.,..., С» строки матрицы @ (т — размерность вектора т 
Ху, ГА- + (р=... т), 
где У ...› Укш- Координаты вектора У, (&=1,..., п). 


Найдем ковариационные и взаимные ковариационные ма- 
трицы векторов СТ и (1: 


1, =Мбтб = У Аз, МУ УАЗТА- -1 


Е,1=1 


к=.Д- ь. МУ, УТА- 
‚[=1 
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Так как случайные векторы У, и У, при [= Е независимы 
вследствие независимости опытов, то МУ, У, =0 при 
[52 Ё. Величина МУЗУЗТ представляет собой ковариацион- 
ную матрицу К, () случайного вектора У при х=х,. 
Поэтому | 

МУ! ру 4 = М [УъУч хь| — ра (ху. 


Следовательно, 


в, Уч Ара (в) А-*. — (31) 


В частном случае, когда ковариационная матрица ре 
вектора У не зависит от х, формула (31) в силу (28) 
принимает вид : 


Гра=Ё А“ [а г т). < (32) 


Эта формула показывает, что’ ковариационная матрица 
случайного вектора (-=[(,...С„|’ представляет собой 


и (кронекеровское) а: матриц К, и А-" 
[48, 57]. | 

3.3. Оценка ковариационной матрицы наблюдаемой ве- 
личины. Предположим сначала, что регрессия линейна, 
а ковариационная матрица К, величины У не зависит от х. 

№» В этом случае оценку матрицы К; можно получить, 
взяв соответствующие средние значения квадратов и про- 
изведений отклонений наблюдаемых значений координат 
вектора У от найденной оценки регрессии. В связи с этим 
рассмотрим статистику 


п 


$= У (у, —б) (у, 6)". (83 


Найдем ее математическое ожидание. Заметив, что на 
основании (27) 
| п 


У. 08550, 


перепишем (33) в виде. 


п 
= ра (У, —ОхьУГ. (34)- 
Отсюда находим | 
М5 =М УУ,УГ— МС У х,УГ. (35) 
#1 =] 
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Величина МУ,УХ представляет собой момент второго по-. 
рядка случайного вектора У при х=х,. Применяя для 
его вычисления формулу (3.37), получаем 


МУвУЕ = Г, (хь) = т, (хь) т, (%) ЕК, = ахьхрет-- Ку. 


Следовательно, 
М х У,УГ=а р хьхрЕТ + "К, =ВАЕТ | Ку. (36) 
Вычислим второе слагаемое в (35). На основании (25) 
МС. х ХУ = М ьо УлТА-1х,ХГ. 


№41 


Отсюда, учитывая, что величины ТАН, скалярные, 


получаем 
п 


МС У х.УГ= У» ТА МУГ. 
в=1 Е, [=1 
Но в силу независимости У, и У, при 152 Е 
МУ.У; = МУ,МУ, = вх.хр от 
МУ, УЕ = ахьж5т--К,. 


Следовательно, 
мб Хит - $ МАИ ХАЛК, = 
то вх&хьА- т пет--К, х Хх А-1х, = 


ЕВ 2. хх А- ‚ки -^, Ух ГА 
ры АА-!1. 


Но АА-! представляет собой единичную матрицу, поря- 
док которой равен размерности г вектора х. Поэтому 
{Г АА- 1=г и, следовательно, 


Мб х УТ Арт. ГКУ. 
Подставив это выражение и (36) в (35), окончательно 


получаем 
М5 Ре (й =Р) Ку. 
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‚Отсюда видно, что несмещенная оценка ковариационной 
матрицы К, рН - формулой 


2 5 
Ку = ПГ, 


у (У, —Сх,) (,— бт. << (37) 


‘Для вычисления величины $5 часто пользуются фор- 
мулой 


$= У УГ —САбТ, 
Е=1 


`. 


вытекающей из (34) и (79) При этом (37) принимает вид 


^^ 


Ку= Уи —блбт |... (38). 


у Пг 


Заменив в (32) ковариации д их несмещенными 
оценками из (37), получим несмещенные оценки ковариа- 
ционных матриц Г» строк матрицы д. 

3.4. Статистические свойства оценок значений рег- 
рессии. Изучим теперь статистические свойства оценки 
регрессии У = Сх при данном х. 

В силу несмещенности оценки С величина У=(х 
служит несмещенной оценкой величины вх. Чтобы найти 
ковариационную матрицу К; оценки У, заметим, что 
координаты вектора’ У выражаются через. строки 
С.,..., С» матрицы С формулой У. = С рх= хТОТ. Поль- 
уясь этим соотношением и формулой (32), находим эле- 
менты матрицы. К;: - | 


= М (хтС°Т) 6) — = Мб бк а, 


ма следует, что 
К; =ХТА-1хКу. | (39) 


% 


_Несмещенная оценка матрицы К; получается отсюда за- 


меной матрицы. К, ее несмещенной оценкой из (37). 
3.5. Оценивание нелинейной регрессии. Если регрес- 
сия нелинейна и ковариационная матрица величины У 
зависит от х, то о регрессии т,(х) и ковариа- 
ционной матрицы К,(х) можно получить только в том 
случае, когда при каждом значении х величина У наблю- 
дается многократно, т.е. х,,...,х, распадаются на ` 
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группы одинаковых значений *). Предположим, что п: 
из величин х.,..., Хх, равны хй), и, равны х®, ит. д., 
пм равны х“^, п-... Ем п. Значения величины у 
при х= х‘?? обозначим через У}? (Е=1,..., пр; р=1,... М). 
Тогда на основании формул (6. 34) и (6. 37) несмещенные 
оценки величин т,(х) и К,(х) при х=х®),..., Хх 
определяются формулами 


НР 
. > 
М. (к) =У фр = У ур, 
›т”) ПР 2 у 
в ь 
К, (“= з- ых (Ул —У) (Ур Уфу. 


Статистические характеристики этих оценок и довери- 
тельные области в случае нормального распределения У 
определяются по формулам $ 6. о. 

3.6. Случай линейной регрессии и нормального рас-. 
пределения. Рассмотрим подробнее частный случай, когда 
величина У имеет нормальнсе распределение, ее регрессия 
на х линейна, а ковариационная матрица К, не зависит от х. 

№ В этом случае совместная плотность наблюдаемых 
величин У!, ..., ХУ, определяется формулой 


(ит, мы ) и . 
1 . 
а вх, )Т К-! (и, — |. 
У 2л)”” | К) | п . | (и, | 8х») у (у вх») | 
Но 


2 —&х,)' К; и (ук — вх») = 


= Ку" Х (дк — вх) (Чь-ахь)". 


*) ЕН величин Ту (х) и Ку (х) можно найти методом наи- 
меньших квадратов при однократном наблюдении У при каждом из 
значений х1,..., Хи величины х, но только в классе достаточно 
простых функций, число неизвестных параметров в которых значи- 
тельно меньше числа опытов п. 
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Сумма в этой формуле выражается через величины би 5. 
Действительно, 


р (уь— ах») (у вхьт = 


$ в —9х,) м а $ (ик — вх») (у, — ах). 


Отсюда, принимая во внимание, что на основании 
(27) и (28) 


п. ре п п 
№ (у. — &Х,) Яо р хь (Ув — вхь)Т =0, ра ХьХЕ = А, 
получаем 


р (у— 8х») (у, — вхь)Г = 


= (ЗА ОН (уь —5х,) (ув — бхь)Т= 


В | = (8—8) А(в—8)Т-- 5. 
Следовательно, 


> (ук—вхь)" Ку (уф вх,) = 
= Ку" (<— 6) Ав в)т-Ы Ку" 

Е Ка х 
У (2л)"* [Ку |" 
а - 
Х ехр |-эы А ОЕ и Ку}. (40) 


Ри) = 


Отсюда следует, что случайные величины С и 5$ незави- 
симы и образуют достаточную статистику, причем Ц 
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распределена нормально, а © имеет распределение 
Уишарта №,„-, +1, п (5). Уменьшение числа степеней сво- 
боды $ от п—| до п—г по сравнению с 9 в $ 6.5 


объясняется тем, что векторы У,—Сх, (Е=1,..., п) свя- 
заны г линейными зависимостями 


— (У, — (хи) хьр=0 (р=1,..., Г), 


вытекающими из (27)*). Из (40), так же как в при- 
мере 7.6, вытекает, что оценками максимума -правдопо- 


добия параметров & и К, служат величины @ и о 


А: (п г/п. < 
3.7. Выбор значений независимой переменной. Если 
значения х,,..., х, величины х, при которых наблю- 


дается величина У, “можно выбирать произвольно, то 


вычисление оценки С можно упростить, выбрав я 
так, чтобы матрица А была диагональной. Тогда урав- 
нение (27) распадается на тг независимых уравнений, 


определяющих элементы матрицы @ по отдельности. 

Чтобы найти векторы х.,...,х, с диагональной мат- 
рицей А, возьмем произвольные векторы р | 
обозначим через ир п- мерный вектор, образованный р-ми 
‘координатами векторов хи, ..., Хи: 


Иры [др ++. Апр (р=1, 9 еъу Г). 


Тогда можно будет рассматривать элементы матрицы 4 
как скалярные произведения соответствующих векторов 
и, и и. Применив к векторам и:,..., и; обычный прием 
ортогонализации, заменим их ортогональными векторами 
и,....И,. Обозначив через х, вектор, образованный 
к-ми координатами векторов и, ...,и, (Е=1,..., П), 
получим векторы х:,...,х, с диагональной матрицей А. 
Само собой разумеется, что исходные векторы хх, ..., ли 
следует выбирать так, чтобы векторы х,,...,х, были 
распределены приблизительно равномерно в интересую- 
щей нас области значений х. 

3.8. Доверительные области для регрессии. Осталось 


найти доверительные области для & и К,. ы 

*) В частном о $ когда г=|, х=|, векторы 
У: — (хк=У,-—У У = (1/п) #,› Связаны одним соотношением 
Уи, =0. 
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> Для определения доверительной области для регрес- 
сии у= ах при данном значении х воспользуемся третьим 
методом п. 6.2.4. Так же как в примерах 5.15 и 5. о 
убеждаемся в том, что случайная величина 


аа 


имеет Р-распределение [,,„_,_-„..(№, не зависящее от 
неизвестного параметра #. Поэтому величину Р можно 


принять за функцию ф(У, 5, 2) п. 6.2.4. Тогда довери- 
тельная область для значения и== ох регрессии при данном 
х определится неравенством 
Ш^ ыы ^ тхГА-1х —. 
| И аи (41) 
где [„-— верхняя 100 (1 —<)-проценхная точка Р-распре- 
деления [„ „-,‚-ш+1 (Г) (значение |, не котором функ- 
ция распределения равна @.). 
В частном случае скалярной величины У распреде- 


ление {; „_, (Г) величины Ё дает для величины Т = --ИЁ 
плотность 25,_,(1). Доверительная область (41) для 
у=оах в этом случае представляет собой ьаннйй 


7, 3 мА хТА 


где {, определяется уравнением $5,-_ вы Т| <&5)=а 
(таблица 3). 

Доверительная область для матрицы & в случае век- 
торной величины У определяется сложно, и удобных 
для практического ‘применения результатов при этом. 
получить не удается. Путь решения этой задачи будет 
показан в $ 4. 

° > В частном случае скалярной величины в распре- 
деление Уишарта величины 5 сводится к 7?-распреде- 
лению’с п—г степенями свободы величины 5, -А так 


как независимая от 5 величина (@—2) А (@— "О, на 
основании результатов примера 5.24 имеет у? “распреде- 
‚ление с г степенями свободы, то величина 


ы Е_ (6—8) А(б—в)Т/г. 
| и 5/и—г 


имеет Ё-распределение |, „-_,(Р). Следовательно, довери- 
тельная область для матрицы-строки 8 определяется 


864 


` 


неравенством 


(@— вА(@— вт и 


где |„— верхняя т процентная точка Р-распре- 
деления |,.„-_,(/). 9 

В случае векторной величины У неравенство (42) 
определяет доверительные области для строк матрицы о 
по отдельности. 

3.9. Оценивание линейной регрессии со сдвигом. 
В задачах практики часто приходится находить линей- 
‘ную оценку регрессии со сдвигом. 

№ В случае линейной оценки регрессии со сдвигом 
первая координата вектора х равна 1: в соответствии 


с замечанием п. У 2.5. Заменив в этом случае 5, р. их 


соответственно блочными матрицами [а 8], [ав] и [1 х], 
напишем уравнение (27) в ‚виде 


(42) 


Пг? 


+ Е=1 |-— | 
п п п 

р ЧИ У = >) 7 

ааа. 
=] в=| | 

Первое уравнение дает 
| | п ^ п 
Е Е В 
еее С аи "в: 


Подставив это выражение во второе уравнение, приве- 
дем его к виду - 


2( == ‚я )-- р уьхТ— пухТ, 
р=1 : | = а 
или. | 
5 У (хь — 4) иг = ро АЕ у) (хх). (43) 
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Таким образом, в этом случае можно представить опти- 
мальную линейную оценку регрессии в виде | 


у = (х—х),. 
где с определяется уравнением (43). Это дает возмож- 


ность уменьшить на | размерность матрицы коэффици- 


ентов и число столбцов матрицы в правой части по 
сравнению с (27). | 

Доверительная область (41) для значения регрессии 
а+-ох=у при данном х преобразуется в этом случае 
к виду | 
_(У+6(=—®— ут 5-*(У-+б(и—х—у < 

1 = , — 
< Е [5+#—9тА 2—3 | 

где 


А’ — У ь— 0—9. 


Доверительная область (42) для матрицы-строки [а #] 
в случае скалярной величины У имеет вид = 


п(У—а— 2+ (6-0 А’ (бт <ьг 


Пг. 


При этом следует помнить, что векторы х,,..., Хх 


И 
в 
х в этом случае имеют размерность г—1. 4 


Чтобы получить решение уравнения (43) в удобной для вычис- 


лений форме, обозначим через в, и сб, диагональные матрицы, эле- 
ментами которых служат соответственно выборочные средние квадра- 


тические отклонения координат векторов У и х, через В, и К ух 
выборочные корреляционную матрицу вектора х и взаимную корре- 
ляционную матрицу векторов У и х*). Тогда можем написать 


в п 
, ®& ежик == —^ вы ^ 
А’ = ро (хех) (жк хх)? =(п— 1] 6,Ю ох, 
в = 
п (44) 
\ — — —^ — —^ 
> ЧЕ-и бЕ—ХТ = (и 0,Вухб,, 
Е=| 
и уравнение (43) примет вид 
в0%.Кх=0буКух. 
*) Выборочные статистические характеристики, очевидно, могут 
быть вычислены и в том случае, когда наблюдаемые величины не 
случайны. | 
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Решая это уравнение, получим 


^^ 


а=0,В Вох. | (45) 


Очевидно, что строки матрицы с определяются независимо одна 
от другой вследствие того, что уравнение (43) (как и (27)) распадается 
на независимые уравнения такого же вида, каждое из которых 
определяет соответствующую строку матрицы &. Вследствие этого 
регрессию можно оценивать для каждой координаты вектора У_ 
отдельно. Этим обычно пользуются при вычислениях. 

В случае скалярной величины У (или одной координаты У 
интересующего нас случайного вектора) для вычисления реализации 
$ статистики $5 удобно применить следующий прием. Так же как 
при переходе от формулы (37) к (38), получаем 


п п 
= У Ши фа (фр = У кф ФА’. 
К=1 к =! 


Подставив сюда выражения А’и вк из (44) и -(45) и учитывая, что 
Ких= ху, находим — 


п 
5= У (в— и) — (п ПбуК,„Юх Вху, 
=] 
или, полагая 
и. = 
$' = У (4—9 
=| 


и принимая во внимание, что (п—1) бу= 5’, 


5=95' (1—АЮухЮх Юху). — (46) 

Формула (37) дает несмещенную оценку дисперсии Ру величины У: 
> К | 

и (47) 


Наконец, учитывая, что в данном случае 


= АЕЕТА' 15 — ТА’ 
— А’- А’-1 


получаем из (32) несмещенную оценку ковариационной матрицы 
оценки параметра [а &]: | 


О 7 № 
4«=4у (1-74 =) › каб ЧА 1х, реа, А’, 


Подставив сюда выражение А’-1 из (44), получаем 


® Чу = ты 
ры (48 
,=а,- Кх О ® 
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Формулы (45) — (48) лежат в основе о. программы 
линейного регрессионного анализа МОГТК [94] *). 

Пример 4**). Построить оптимальную линейную регрессион- 
ную модель по результатам 30 наблюдений величины У и пятимер- 
ного вектора х, представленным в таблице: 


р. 
й Хь Уь | А ый УЕ 
| 29 289 216 85 14 |1 | 16 | 45 310 262 94 90| 2 
2 [30 391 244 9 16 |2 |17| 45 151 339 96 35 3 | 
3 | 30 424 946 90 18 |0 | 18| 45 370 357 881541 
4130 313 239 (9 1010119145 3979 198 147 64| 4 
5 | 35 243 975 95 30 |9 |520 |465 463 206 105 91| 3 
6 | 35 365 219 9 90| 2|21|45 316 245 132 60| 4 
7 | 43 396 967 100 39 |3 |522 | 45 2280 25% 108 36| 4 
-8 | 43 356-274 79 19 |2 | 23| 44 395 915 1 97| 1 
9 | 44 346 255 196 56 |3 |24|49 139 220 136 59| 0 
258 < 95 28 10| 95| 49 245 205 13 37| 4 
549 10 49 |4 | 96| 49 373 95 88 95| | 
252 88 21 |1 |27|51 224 215 18 54 |3 
236 129 56 | 1|28|51 677 210 6 33| 4 
236 97 94 |1 |99| 5 424 910 140 59| 4 
556 ИЕ 45 |3 |30|ы 150 910 105 3910 


В результате расчета на ЭВМ по программе КЕСКЕ получена 
зависимость: 


9 (%) =2,267--0,01 [1,242 0, 739 1,504 0, 151 4,919] Х 
| Хх (х— [43,13 316,17 241,80 105,67 34, 1] 7 


и оценки средних квадратических отклонений величины У и оценок 
коэффициентов регрессии 


бу == 1,05162, в = 0,03635, 5, =0,00186, 
б„.=0,00635, 0,,=0,03679, в„,=0,04141. 


Анализ этих результатов показывает, что средние квадратические 
отклонения оценок первого и четвертого коэффициентов регрессии 
значительно превышают оценки этих коэффициентов. Это приводит 
к гипотезе, что зависимость регрессии от первой и четвертой коор- 
динат вектора х несущественна. В примере 8 мы увидим, что эта 
гипотеза может быть принята. 


*) Для построения. линейных регрессионных моделей -в [94] 
служит общая программа КЕСКЕ, использующая программу СОККЕ 
для вычисления выборочных средних, дисперсий, ковариаций, коэф- 
фициентов корреляции и сумм квадратов и произведений, программу 
МГМУ для обращения матрицы Кх и программу МОЁСТК для не- 
посредственного построения регрессионной. модели. 

**) Примеры 4 и 5 заимствованы из [94]. 
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Принимая во внимание, что в данном случае п=30, г=6б, 
$=26,54161, и определив по таблице 6 верхнюю 5%-ную точку 2; -рас- 
пределения ат (1), о.э5=2,51, находим доверительную областв для 
матрицы [а &]|, соответслвующую коэффициенту доверия 0,95: 


(2,267 —а— вх)*-- (&—в) А" (Е— ВТ < 0,555, 

_ где — | 

х = [43,13 316,17 241,80 105,67 34,13]Т, 

&=0,01 [1,242 0,739 1,504 0,151 4,919]7, 
А’ | 5% 29 ^ ^ ^ 


и р 
А я — я бхКхбх=5д бхКхОх, 


б.— диагональная | матрица с элементами 6,52176, 114,42990, 
36,43074, 17,85640, 15,97571, а Е 
1,00000 —0,06721 —0,13689 .0,49755 0,55849- 
—0,06721 1,00000 —0,17857 —0,05227 —0,18381 
В. = —0,13689 —0,17857 1,00000 —0,40874 —0,26319 
0,49755 —0,05227 —0,40874 1,00000 0,93552 
0,55849 —0,1838! —0,26319 0,93552 1,00000 


Доверительная область для значения линейной регрессии у при 
данном х определяется неравенством 


у— 2,267 — -8 (<->) |< 
< 0,396 (1-4 1,0345(«—т6 7: («я 


при тех же х, в, буи Ю, после определения по таблице 3 значе- 
ния {% =В, 5-9, 064 по данным А=п—г=24 и а=0,595. 

Пример 5. Найти полиномиальную оценку регрессии 4-й степени 
скалярной величины У на скалярную величину х по наблюденным 
значениям хи У в 15 опытах, приведенным в таблице: 


123 4 Б67вэюив вав 


„”“ 


10 16 20 23 25 26 30 36 48 62 78 94 107 118 127 


Ук 


В результате расчета на эвм по программе А — *) получена 
зависимость 


1х) =—5,642-1 19,449х —5,1147х2 1 0,5650843 —0,018113л. 


*) В [94] для построения полиномиальной регрессионной мо- 
дели служит программа РОГОК, использующая программы СРАТА 
для вычисления степеней независимой переменной — координат век- 
тора г, их выборочных средних, сумм квадратов, сумм произве- 
дений и, коэффициентов корреляции, МГМУ для обращения корре- 
ляционной матрицы и МОЁТВ для Ор АВОНо построения 
модели. . | 
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3.10. Оценивание регрессии одной случайной вели- 
чины на другую. Перейдем теперь к случаю, когда х 
представляет собой значение некоторой случайной вели- 
чины Х. Задача нахождения моментов оценок и довери- 
тельных областей для а, ви у=а-Ё ох в этом случае 
значительно труднее. При нормальном совместном рас- 
пределении величин Х и У сравнительно легко нахо- 
дятся лишь доверительные интервалы для элементов 
матрицы © по отдельности. Для решения этой задачи 
достаточно рассмотреть случай скалярной величины У *). 

№» Выделим одну первую координату вектора Х, кото- 
рую мы обозначим Х... Точка перед индексом постав- 
лена для того, чтобы отличить первую координату 
вектора Х от его значения в первом опыте Х,. Пред- 
ставим вектор Х в виде блочной матрицы-столбца Х = 
=[Х., Х’Т|Т**). Соответственно представим матрицу- 
строку © в виде =, в’|и р ‚вектора Х в с0- 
ответствующих опытах в виде Х ‚ = [ХурХь |Т (Е =1,..., п). 
Пусть в —матрица-строка О рИЦиеНтОВ регрессии У на 
Х=|Х., Х’ТГ, й, —матрица-строка коэффициентов ре- 
грессии У на Х’, й ‚ —матрица-строка коэффициентов 
регрессии Х.; на Х,, (, Н,, Н,—оптимальные оценки 
матриц 5, Й,, Й.. Положим 


$и=У, [У —У—Я, (Х;— ХР, х--У, Хь, 
Е = в = 
“ 7 Г р > 1 
$ = У. [Хн-Х.—Й, (ХХ), Х ух ьь (49) 


5, = > [У,—7--Н, (Х4— ХХ, —Х.—Й,(Е-—фХ]. 


Бартлетт доказал, что статистика. 


| пм | > 
Т= 7 11 ((.—8!) (50) 
Уз 
*) Впрочем, все полученные выше результаты в этом случае 
справедливы для условных характеристик при данных хи, ..., Хи. 


**) Чтобы избежать вырожденного распределения, в этом. 
случае регрессия У на Х всегда’ представляется в виде й(х) = 
59-Е) 
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имеет Т-распределение $,-,-,(#) [2]. Это дает возмож- 
ность находить доверительные интервалы для коэффи- 
циента регрессии 5,. Совершенно так же определяются 
доверительные интервалы для 8., ..., &5,. 


| Пример 6. Найти регрессию случайной величины У на Х в 
условиях примера 6.7. 
По формуле (45), имея в виду, что в данном случае ПО, 


г=1, В, =1, Вух=Тху, находим д==0,57. Так как в данном слу- 
чае 91=(п— 1) 02, 52 = (п— 1) 0%, $1 = (п— 1) Ёху=(п—1) 9х0, ху, 
‚ то доверительный интервал для & определяется неравенством 


0х Е 8 < №, 
бу. С 


‘тде определяется уравнением $„-2 (№) =. Полагая @а=0,95 и 
учитывая, что & =п—2=18, находим по таблице 3 № =В 5 =2,103. 
После этого определяем доверительный интервал 0,27 < д < 0,87. 


$ 4. Проверка гипотез о регрессии 


4.1. Критерий для проверки гипотез о равенстве нулю 
коэффициентов регрессии. При построении регрессион- 
ных моделей обычно возникает вопрос, нельзя ли пре- 
небречь зависимостью У от некоторых координат век- 
тора х. Иными словами, возникает вопрос о проверке 
гипотезы, что некоторые элементы матрицы коэффициен- 
тов регрессии & равны нулю. 

Пусть х' — вектор, образованный первыми р коорди- 
натами вектора х, х”— вектор, образованный остальными 
г—р координатами. Представив матрицу-столбец х в 
виде блочной матрицы х=[х’Г хх’ и матрицу & в соот- 
ветствующем блочном виде в=|[5”’ 5"|, будем: иметь &х= 

=ах’ -- в”х". Если регрессия не зависит от х”, то 5" =0. 
Задача заключается В том, чтобы определить, согласу- 
ется ли гипотеза в” =0 с полученными эксперименталь- 
ными данными. 

Чтобы найти подходящий критерий для проверки 
гипотезы 5” = 0, рассмотрим сначала случай скалярной 
величины У. Предположим, что найдены оценки регрессии 
при 5”=0 и без этого допущения и в обоих случаях 
вычислены суммы квадратов отклонений эксперименталь- 
ных точек от регрессии, которые ‘мы обозначим. соответ- 
ственно 5’и $. Ясно, что если гипотеза 8" '—=0 верна, то 
5 и &’ должны быть близкими, хотя 5’ всегда несколько 
больше, чем 5. Если же гипотеза в”=0 неверна, то 5’ 
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может быть значительно’ больше 5. Таким образом, в 
'качестве меры отклонения экспериментальных данных. от 
гипотезы 5” =0 можно принять отношение ( = 5/5’. Если 
найденное по экспериментальным данным значение ИП 
близко к |, то можно считать, что гипотеза 5” =0 не 
противоречит экспериментальным данным. При малом 
значении И гипотеза &”=0 плохо согласуется с экспе- 
риментальными данными и должна быть отвергнута. 

В случае векторной величины У отклонения экспе- 
риментальных точек от регрессии характеризуются мат- 
рицей, элементами которой служат суммы квадратов и 
произведений. отклонений координат экспериментальных 
точек от регрессии, т. е. матрицей $ $ 3. При этом ве- 
личину рассеивания экспериментальных точек относи- 
тельно’ регрессии можно характеризовать определителем. 
матрицы 5 (который пропорционален объему эллипсоида 
рассеивания). [Поэтому за критерий для проверки гипо- 
тезы д” =0 в случае векторной величины У обычно при- 
нимают отношение определителя матрицы $, определяе- 


мой формулой. (33), к определителю такой же матрицы 


$’, вычисленной при гипотезе я” =0, И=|5$|/|5' |. 
4.2. Вспомогательное предложение. Вычислим разность 


$'—5. Пусть (’—оценка матрицы 6’ при гипотезе 
0"—=0, (№ и ( — оценки матриц & и 8", полученные 
без допущения 5”=0, @=[06%0(®]|. 

№» Представив матрицы Ди Вв соответствующем 
блочном виде: 


Ап я | и 
и Аз | ’ В=|В В"|, 


можем переписать уравнение (27) для оценки С в виде 
двух уравнений: 


А, -ЕбФА, В’, б®А,б®А, В. (51) 


Уравнение (27) для оценки С’ имеет вид 


АВ". Г _ 62) 
Выразим матрицы 5$ и 5’ формулой (34): 
5=У (у, бт =У (У, —б®х: — беж) УТ, 
=] = 
= У (у, —С’хрУГ. 
Е=1 
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Вычитая первую формулу из второй; получим 


5 = Убещуть У (б®_@)муТы 
Е=| к=1 


— (2) В’Т-- ((®— 0’) В’Т. (53) 


Чтобы вычислить разность @(‘— С”, вычтем уравнение 
(52) из первого уравнения (51): 


(4% —(') А. +С®А,, ==0. 
Отсюда находим | 
(0% —(’=—0®А„ Аш. 
та ВИЕ это выражение в (53), получаем 
$'—$=0(% (В"Т—А„Аь а. (54) 


Для дальнейшего преобразования этого выражения 


исключим из (51) матрицу (%. С этой целью умножим 
первое уравнение (51) на Аг А,, и вычтем из второго: 


0% (А,—А„АшА,,) = В" — В’ Аш 


Отсюда, имея в виду, что А» = А, Ад=Аа, А»= А, 
вследствие симметрии матрицы А, находим 


В"Т— АА ТТ = (А„—А Ав 15) (9 Г. 
Подставив это выражение в (54), окончательно получаем 
5'—5= ем (А„— А Ав. 12) 0% г. < (55) 


_ По доказанному `в п.3.б при данных значениях 
Хх, ..., Х, И при нормальном распределении величины у 


статистики Си $ независимы. Формула (55) показывает, 
что матрица 5’ в этом случае представляет собой сумму 
двух независимых положительно определенных матриц 
би’ —5= 0 (А,—А„АпьА ро 
_ 4.3. Проверка гипотез в случае скалярной наблюдае- 
мой величины. Рассмотрим подробнее случай скалярной 
величины У. В этом случае величина 5/Б, имеет 5?- 
распределение с п—г степенями свободы и, соответст- 
венно, 5’/), имеет у?-распределение с п—р степенями 
свободы. Следовательно, независимая от 5 величина 
(5’—5$)/), имеет х?-распределение с. п—-р—(п—г) = 
= (Г— р) ‘степенями свободы. Отсюда следует, что вели- 
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чина И=5/5’ имеет В-распределение с параметрами 
(п —г)/2 и (/—р)/2, а величина 
р М 
5/(п—г) 

имеет 'Р-распределение сут—ри п—г степенями свободы 
[+-р.п-,(Р) (примеры 5.24 и 5.26). Поэтому для проверки 
гипотезы &”=0 можно пользоваться таблицами Ё-рас- 
пределения. По этим таблицам определяется верхняя 
100(1 —<)-процентная точка [» Р-распределения/,- „„-,(!), 
т. е. такое значение |, при котором Р(ЁЕ< |) =а. 
Если полученное экспериментально значение [ величины 
Е значительно меньше |», то гипотезу 5” =0 можно счи- 
тать согласующейся с экспериментальными данными. Для 
подкрепления решения, что 5” =0, в этом случае можно, 
пользуясь Р-распределением или В-распределением, вы- 
числить вероятность того, что Ё примет значение боль- 
шее, чем экспериментально полученное значение $} (соот- 
ветственно вероятность того, что И примет значение 
меньшее, чем экспериментально полученное и= 1/1 - 
-{(—р)/(п—г)]). Если эта вероятность велика, то это 
служит дополнительным доводом в пользу гипотезы 
5” =0. При [> |» гипотезу &“”=0 следует отвергнуть. 


Пример 7. В условиях примера 4 проверить гипотезу & =0. 

В этом случае п=30, г=б, р=| и верхняя 5%-ная точка 
Е-распределения [5,24 (|) есть ,ь=2,62. Экспериментально полу- 
ченное значение { определяется формулой 


30 
_ ($ —8)/5 ИН — 2 
[= 5/24 ) 5 -_ (Ук у) ы 
Это значение вычисляется подпрограммой МОГТК. В данном слу- 
чае оно равно 5,6608, т. е. больше чем в два раза превышает. кри- 
тическое значение 5 =2,62. Поэтому гипотеза в =0 должна быть 
отвергнута. _ 
Пример 8. В условиях примера 4 проверить гипотезу; что 
регрессия не зависит от первой и четвертой координат вектора х. 
В этом случае п=30, г=б, р=4и в результате расчета на 
ЭВМ по программе МОГТЕЮ получено 5=26,54161, 5$’=26,67073.. 
Следовательно, 


р 0,12912/2 

—_  8/(п-г)  76,54161/24 
Это значение почти в 60 раз меньше критического значения {= 
Е-распределения [о о. ([), соответствующего &=0,95, ри в = 3,40. По- 


этому гипотезу 51 =. =0 можно принять. Оптимальная регрессион- 
ная модель при этой гипотезе определяется формулой 


Их) =2 267-- 0,01 [0,744 1,497 5,363] (х’— [316,17 241,80 34,13]7). 
374’ | | | 


—=0,05837, 


При этом получены следующие оценки средних кКвадратических 
° отклонений величины У и оценок коэффициентов регрессии 65, 63 


и 85: 
бу= 1,01282, 0,,=0,00172, 0,,=0,00551, о, =0,01258. 


Для нахождения доверительной области для а, 65, 63 И 56;:,. 
[62 93 @5| =’, определяем верхнюю 5%-ную точку Р- распределения 
4,96 ([), |, о 74. После этого доверительная область дляаи 5* 
определится неравенством 


(2,267—2х —а)*--(@&'— 8) А" ("ВТ < 0,375, 
где 
= [316,17 241,80 34,13]7, 5’ =0,01 [0,744 1,497 5,363], 


а матрица А” получается из такой же матрицы примера 4 вычерки- 
ванием первой и четвертой строк и первого и четвертого столбцов. 
Обратим внимание на то, что. в этой упрощенной модели сред- 


ние квадратические отклонения оценок 62, 6бз и 55 меньше, чем в 


полной модели примера 4, причем б,, примерно в 3 раза меньше, 
чем в полной модели. 


4.4. Проверка гипотез в случае векторной наблюдае- 
мой величины. Перейдем к случаю т-мерной векторной 
величины У. Рассмотрим сначала случай р=г— 1, т. е. 
случай проверки гипотезы о независимости У от одной 
г-й координаты вектора х. В этом случае величина 
И=|$|/|$”| имеет В-распределение с параметрами 
(п—р—т)/2, т/2 и, следовательно, величина 


_ а И)/т 
Г И /(п—р— т) 


имеет Р-распределение с ти п— рт степенями сво- 
боды [»,п-р-ш(Р). Поэтому гипотеза &” = 0 проверяется 
совершенно так же, как в случае скалярной У. 

В случае, когда г т < р<г—1, величина ПО может 
бытр представлена в виде о г— р независи- 
мых случайных величин Хь а 


и=П Хь 


[=1 


Е р: 


где ЛХ; имеет В-распределение с параметрами (п— р— 
—т—1--1)/2, т/2. Это доказывается путем вычисления 
моментов величины (И совершенно так же, как в при-, 
мере 5.45 [1]. | . 

При р<г— т, что, конечно, возможно только при 
г> т, величина (И может быть представлена’в виде про- 
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изведения /7 независимых случайных величин Ху, ..., Хи: 


72° 
т 


и= Хх, 


1=1 


где ЛХ, имеет в распределение с параметрами (п—х — 
—1+1)/2, (г—р)/2 [1]. | 

В соответствии с этими распределениями величины Ц 
и решается задача проверки гипотезы 5” =0. При этом 
точное определение соответствующих уровней значимо- 
сти в общем случае невозможно. Методы точного реше- 
ния этой задачи в частных случаях, а также прибли- 
женные методы читатель может найти в [1]. ^ 

-Практически задача проверки гипотезы 5” =0 в этом 
случае может быть решена путем оценки вероятности 
значения И, меньшего, чем полученное экспериментально 
значение и, методом статистического моделирования. Для 
этого необходимо моделировать независимые случайные 
величины с соответствующими В-распределениями и найти 
частоту события И «< и*). Если эта частота достаточно 
велика, то гипотеза 5”= 0 принимается. В противном 
случае она отвергается. 

Совершенно так же проверяется гипотеза 5"= 0, при 
любой данной. матрице 0. Для этого достаточно заме- 
нить У величиной У— 5х”. 

Положив р=0, можно определить доверительную 
область для матрицы &, соответствующую коэффициенту 
доверия ©, неравенством И > ис, где и. определяется из 
уравнения Р(И > и.) =. Это неравенство определяет 
‘случайное множество значений &, которое с вероят- 
ностью @& накрывает неизвестное значение матрицы 5. 

Если х— значение некоторой случайной величины Х, 
то в соответствии со сказанным в п. 3.10 легко про- 
веряются только гипотезы о каждом элементе матрицы 5 
по отдельности. В частности, если значение 5, коэффи- 
циента регрессии 5; попадает в ера интервал 


р [о $1152 — 51а И 
бы Ире И ети, 


соответствующий коэффициенту доверия «=Р (]Т |< &), 
то гипотезу 5, =, можно принять. В противном слу- 
`чае она отвергается. 


*) Для вычисления функции распределения в случае В-распре- 
деления в [94] служит программа ВОТК. 
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Пр имер 9. В условиях примера 6 значение в=0 не принад-_ 
лежит найденному доверительному интервалу (0, 27, 0,87). Поэтому 
гипотезу &=0 следует отвергнуть. 


4.5. Проверка гипотез о линейности регрессии. Вто- 
рая гипотеза, которую приходится проверять при по- 
строении регрессионных моделей, —это гипотеза о ли- 
нейности регрессии. Для проверки этой гипотезы 
‚необходимо при каждом значении х наблюдать случай- 
ную величину У достаточно большое число раз. Пред- 
положим, ‹ что величина У наблюдается п, раз при 
х=х®, п, раз при х=х“?), ит. д., пм раз при х=х“^, 
п... Им = М. о величины У при -х= жР) 
обозначим У}? (Е =1,`...; п» р=|, ..., П). 

Рассмотрим сначала ай скалярной величины У. 
Совершенно так же, как при проверке гипотезы о неза- 
висимости У от части координат вектора х, образуем 
две суммы квадратов. отклонений экспериментальных 
точек от регрессии, одну, 5, при гипотезе о линейности 
регрессии: у ь 


М "р 
а ХР би), 


и другую, $., без ‘этого допущения: 


о ы ы у — У(р))? У«Р) ] =. УФ. 
‚=>, Ъ, ( в ^^ | а о | 


Если отношение И=5,/$ (которое, очевидно, не может 
быть больше 1) близко к 1, то гипотезу о линейности 
регрессии можно считать не противоречащей экспери- 
ментальным данным. Нри малом значении И эту гипо- 
тезу следует отвергнуть. | 

В случае векторной величины У за критерий про- 
верки гипотезы о линейности регрессии можно. принять 
оНоениХ = 5 |7 [$ | определителя матрицы 


=> у уР-ГР)ур-Т®)г 


р=1 Е=1 


к определителю матрицы 


Е .> ыы] (У бир) (У? —бхфг, 
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Совершенно так же, как в предыдущем случае, доказы- 
вается, что при нормальном распределении величины У 
разность $ —5, независима: от $, и в случае скалярной 
У величины 9, ©, и э—5, имеют у?-распределения со- 
ответсвенно с п—М, п—г и М№М—г степенями свободы. 
‚Вследствие этого случайная величина И имеет В-распре- 
деление с параметрами (№ — г)/2, ("— №)/2 и, соответст- 
венно, величина | 


ве и) 
‘= И/(п— М) 


имеет Е-распределение мт, п- м(Р) (пример 5.26). С 
помощью этих распределений гипотеза о линейности 
регрессии проверяется совершенно так же, как гипо- 
теза д” =0 в случае линейной регрессии [24]. 

Точно так же проверка гипотезы о линейности рег- 
рессии в случае векторной величины У сводится к при- 
менению тех же распределений, что и проверка гипотезы 
5” =0 при линейной регрессии, 

4.6. Выбор типа регрессионной модели. Рассмотрим 
теперь вопрос о выборе регрессионной модели. Решение 
этого вопроса сводится к определению переменных, от 
которых зависит интересующая нас случайная величина У’, 
и конечного числа функций этих переменных, которые 
следует включить в состав вектора х. При решении этой 
задачи приходится искать разумный компромисс между 
двумя противоречивыми тенденциями. С одной стороны, 
естественно стремление учесть возможно больше факто- 
ров с целью получить модель, наиболее полно отражаю- 
щую изучаемое явление. С другой стороны, всегда же- 
лательно, чтобы модель была достаточно простой. Прак- 
тическое применение чрезмерно сложной модели связано 
с необходимостью получения болышого объема информа- 
ции (приходится измерять и определять каждый раз 
значения всех переменных, включенных в модель) и 
выполнения сложных вычислений, требующих, больших 
затрат машинного времени, что в конечном счете при- 
водит к высокой стоимости и трудоемкости применения 
модели. Кроме того, ‘полнота и точность сложной модели 
могут оказаться иллюзорными из-за ограниченного объема 
доступной информации, которой приходится довольство- 
ваться при построении модели. Однако применение чрез- 
мерно простых моделей может приводить к большим 
ошибкам. Поэтому необходимы модели. разумной степени 
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сложности. Как всегда в подобных случаях, компро- 
миссное решение не может быть однозначным. Более 
того, две различные модели, полученные в результате 
компромиссного решения задачи разными методами, труд- 
но сравнить между собой, и невозможно отдать пред- 
почтение какой-нибудь одной из них. Поэтому мы не 
будем говорить о наилучшей модели ‘и будем называть 
модель, полученную в результате компромиссного `реше- 
ния, подходящей моделью, подразумевая, что она до- 
статочно хорошю удовлетворяет как требованию полноты 
описания явления, так и требованию престоты. 

Экспериментальным исследованиям, проводимым с 
целью построения модели, должно предшествовать опре- 
деление полного набора переменных, которые могут быть 
включены в модель, и разделение их на входные пере- 
менные (которые войдут в состав вектора х и от которых 
будут зависеть координаты вектора х) и выходные пе- 
‘ременные (координаты случайного вектора У). Лишь 
после этого могут быть проведены опыты, в. результате 
которых будут получены значения входных и выходных 
переменных. 

Обычно модель строится для каждой из выходных 
переменных (координат вектора У) по отдельности, а 
затем полученные скалярные модели объединяются в 
одну векторную. 

Для построения подходящей регрессионной модели по 
результатам опытов можно применить следующий прием. 

Сначала выявляется характер зависимости выходной 
переменной от -каждой из входных переменных путем 
грубого глазомерного построения соответствующих гра- 
фиков. В результате определяются функции входных 
переменных, которые целесообразно включить в состав 
вектора х. При этом будут приближенно учтены основ-' 
ные нелинейности модели относительно входных пере- 
менных (см. замечание в конце п. 2.7). 

После вычисления полученных в результате опыта 
значений координат вектора х производится вычисление 
выборочных коэффициентов корреляции всех координат 
вектора х с выходной переменной У. Из координат век- 
тора х выбирается одна, для которой коэффициент кор- 
реляции с У имеет наибольшее по модулю значение, и 
строится модель, включающая только одну эту коорди- 
нату. На этом заканчивается первый шаг. Последующие 
шаги производятся по такой же схеме. 
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На каждом шаге вычисляются выборочные коэффи- 
циенты корреляции всех еще не включенных в модель 
координат вектора х с остатком, т.е. с разностью между 
величиной У и ее оценкой У с помощью построенной на 
предыдущем шаге модели. Из этих координат вектора х 
выбирается. та, которой соответствует наибольший по 


модулю коэффициент корреляции. После этого строится. 


новая регрессионная модель, включающая выбранную 
таким путем координату, и проверяются гипотезы о воз- 
можности пренебречь зависимостью от каждой из ранее 
включенных в модель координат. В результате прини- 
мается окончательная регрессионная модель на этом шаге. 

Процесс заканчивается и принимается окончательная 
‘регрессионная модель, когда будут перебраны все коор- 
динаты вектора х или же когда включение новых коор- 
динат будет приводить к увеличению оценки дисперсии 
остатка, т. е. к увеличению среднего квадрата ошибки 
оценивания величины У с помощью построенной модели. 

Изложенный метод построения подходящей регрес- 
сионной модели представляет собой один из вариантов 
шагового регрессионного анализа. Обычно он дает хоро- 
шие результаты [24| *). 


Приме р 10. В условиях примера 4 изложенный метод после- 
довательно включает вторую, пятую и третью координаты вектора х 
° и дает в результате модель примера 8. Попытки включить первую 
и четвертую координаты приводят к увеличению оценки дисперсии 
величины У, т. е. к нению точности модели: 


$ 5. Дисперсионный анализ 


Качественные переменные — факторы. В теории, 
изложенной в 5 1—4, координаты вектора х могут быть 
как непрерывно изменяющимися переменными, таки 
переменными с конечным множеством возможных значе- 
ний. Однако в некоторых задачах практики наблюдае- 
мая случайная величина У зависит от факторов, кото- 
рые невозможно охарактеризовать набором измеряемых 
скалярных величин, а можно лишь описать словесно. 
Классическим примером такого рода является исследо- 
вание зависимости урожая от характера почвы и спо- 
соба ее обработки (например, вида применяемого удоб- 
рения). В данном случае наблюдаемой случайной вели- 


*) Другой вариант шагового регрессионного анализа реализуется 
в стандартной программе ЭТРКО [94]. 
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чиной является вес урожая, который зависит от двух 
факторов — характера почвы и способа ее обработки. 
Задача исследования состоит в построении статистичес- 
кой модели этой зависимости. Методы решения подобных 
задач составляют содержание дисперсионного анализа и 
теорни планирования экспериментов, основы которых 
заложены Фишером [112, 116]. 
_ Основная задача’ дисперсионного анализа состоит 
в том, чтобы по результатам наблюдений некоторой слу- 
чайной величины У оценить зависимость ее математи- 
ческого ожидания от факторов, не поддающихся коли- 
чественному описанию, и ее дисперсию (ковариационную 
матрицу в случае векторной величины У). Конкретные 
значения каждого фактора обычно называют уровнями 
этого фактора. Заметим, что в задачах дисперсионного 
анализа некоторые факторы могут допускать и коли- 
чественную характеристику, но при этом опыты произ-_ 
водятся только при нескольких фиксированных значе- 
ниях этих факторов. | 
5.2. Полный двухфакторный план экспериментов. Рас- 
смотрим сначала случай двух факторов ЁР, и Р,. Пред- 
положим, что наблюдение величины У производится при 
ц уровнях фактора Р, и у уровнях фактора ЁР,, причем 
для каждой из цу комбинаций уровней этих факторов У 
наблюдается один раз. Такая схема наблюдений назы-. 
вается полным двухфакторным планом эксперимента. 
Пусть У,‚,—значение величины У, получаемое при 
[-м уровне РЁ и |-м уровне Р, (1=1, ..., и; ]=1,..., №). 
Предположим, что математическое ожидание случайной 
величины Ух, представимо в виде — 


МУ -Ь 6, = (=1.... в ]=1,...,), (56) 


где Б, —общая для всех уровней обоих факторов часть 
математического ожидания величины У, В; иб,, — части, 
‚обусловленные влиянием 1-го уровня фактора РГР; и |-го 
уровня фактора РЁ, соответственно. Кроме того, предпо- 
ложим, что ковариационная матрица К, величины У не 
зависит от уровней факторов РЕ, и Ё,. Соотношение (56) 
выражает обычное для дисперсионного анализа предпо- 
ложение об аддитивности влияния двух факторов. 
Легко сообразить, что параметр 6, можно выбрать. 
произвольно, в частности, принять равным 0. Однако 
практически удобно принять 8, равным среднему значе- 
нию МУ для всех возможных комбинаций уровней Р, 
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и Ё,. При этом В; и 6,, будут связаны соотношениями 


Г № 
, | род ==0, У Ь, = 0. (57) 
ты] 1=1 
Задача построения модели _ данном случае сводится 
к оцениванию величин 6%, 6:; 1=1,..., и) и В, (]= 
=1,..., У) и матрицы К, по результатам наблюдений. 
5.3: Приведение к задаче оценивания линейной рег- 
рессии. Заметим, что величины МУ;; (=1, ..., цв; 
[=1, ..., У) представляют собой значения функции 


[(х) = бох бах, + .. „НЫ, ц-ахи | 
и 1Ад+-1 
и у—1 переменных, из которых х, = 1 всегда, а осталь- 


ные принимают одно из значений 0, 1, —1. 
> Действительно, в силу (57) при х;.1=хи.,=1, 


хв=0 (п=2, ..., ИРУ —1; ПЕР, ВЛ 
Г (х) = НВ: 6, = МУх 
((=1,,... И 1; ]=1,..., У 1), 
при х;.1=1, х,=0(й=2, ..., 1; ПЕ), х,=—1 
(И=и-1, ..., В+У— 1) 


ТО =Ь -Ь.:— 6.5. — .-ы о \—1 = -Ь, 5, = МУъ, 
(=1,..., 1), 


при хи+;=1, хь=0 (й= В ...) И--У— 1; Аи -], 
а [ча И 1) | 


(<) =6,—6 о —В!, ц-1 И 
ЕВ че, | 
при Хе. = Хичу-1 = — | | 
Г) =&—6..— а — 61, и--1 О .. — а, №1 


=. НВ +6, = МУ цу. р 


Таким образом, задача дисперсионного анализа сво- 
‚дится к задаче линейного регрессионного анализа $ 3 при 


бх=6б,х, +6, Хх. —- ооо -Ы.. д 1 Хр —- а -- ое р 
... +6», У-1Хи+у-1. 


При этом координаты вектора х (за исключением х;= 1) 
могут иметь только три возможных значения 0, [и — |. 
Следовательно, формулы для оценок параметров 6., 6... 
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5, иК, и доверительных областей для них можно вы- 
вести из общих формул $5 3. В результате получим опти- 


мальные несмещенные оценки Во; Вр и Ву параметров 
р, бр и В: 


У УВ (=... = (58) 


Несмещенная оценка ковариационной матрицы К, полу- 
чается на основании (37) в результате деления статистики 


А 
|: 5 2(У,—В—Ви—Ву) (У —В —В,: —В„/)’ 


на число опытов му за вычетом размерности и у—1 
вектора х, т. е. на (и— 1) (У—1):. | 


—^ 


Мат В ухи В. — Ви: —Влх 
=| ]= 
| ху И: —В,:. — Вы). _(59) 


Матрица А в данном случае имеет блочно-диагональную 
структуру: 


и о 0 _ гой. № у] 
О Е "Е 
2 в и | 


р |... 0] 
где блоки с нулями представляют собой матрицы, все 
элементы которых равны 0, матрица А, имеет размер 
(и—1)х(и—1), а А, —(у— 1х (у— 1). Поэтому на осно- 
вании (32) случайный вектор В, и случайные матрицы 
В. =[В... Вы] и В,=[В,,... В»| не коррелированы. 
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Из (32), принимая во внимание, что 


и— 1 1... = 


д | Е... = 
ат В 

1-Е... Ц 

у— 1 —1... 4 

ДЕ. — \—| —1 
о а аа И. 

1... | 


в } 
получаем формулы для ковариационной матрицы К, 
вектора В,: 


К. =К,/вм, . (60) 
для ковариационных и взаимных кКовариационных матриц 
КФ векторов Ва, ..., Ви, а: | 

— 1 Ку х | й 
К® = у’ ее (С, ЙЕ, ое 5-1) 
(61) 


и для ковариационных и взаимных ковариационных 
матриц К]? векторов В, -.., В», у_и: 


Ки в (А, [=1, гну ЕТ, 
(62) 

Эти формулы распространяются по симметрии и на век- 
торы_ Вии = — В. — еее ое "И | АИ 


‚—В. „_— несмещенные оценки параметров 6; и 6... 
Несмещенные оценки матриц К,, Кф и К? получаются 
заменой в (60) —(62) матрицы К, ее несмещенной оцен- 
Кой Ку из (59). 

Найдем еще оценки параметров 


в) ах, (63) 


1=1 1=1 


у 


обычно называемых ковариациями средних за счет фак- 
торов Е, и Е, соответственно. Естественно принять за 
оценки К и К, соответствующие статистические средние 


ь | ха? 
К\ = у В.В, Кз = т», Ва/Ва. 


=] 1= 
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Однако эти оценки смещенные. Чтобы получить несме- 
щенные оценки Кти К,, найдем математическое ожида- 


ние АК!. Имея в виду, что В,, —несмещенные оценки 
параметров №,; и поэтому связаны теми же соотноше- 
ниями (57), что и б.;, в Ви (61) имеем 


М ру В:ВЕ = М р (В; —6,:) (В: — 6, ;) т-- ыыы 


и 


„р=ЕоК ИУ 


Е 1=1 


Поэтому 


мк:=К,-+--К., 


_ 


Отсюда видно, что для устранения смещения оценки А! 
достаточно вычесть из нее величину та /У. В результате, . 
учитывая (59), получим несмещенную оценку ро 


у 1 - т рт 5 
те УВ к-т (64) 


По симметрии получаем несмещенную оценку пара- 
метра К.: 
= У.Вув т т (65) 
1= | 


В случае нормального распределения величины У из 


некоррелированности оценок В,, В, и В, вытекает их 
- независимость ($ 3.5). Отсюда н ИЗ доказанного в $3 
следует, что статистики 


бе= ИУ (В —6) (В, —вт, 
= х Ре, ь. - 
5: => (В, —6,) А, (В, —6,)7 = |. 2 (В; —61:) (В; —6. т, 
©. = (В, —6,) А, (В. — 6, т = И р (В.,—Ь,,) (В, —6,/Т, 
‚у 
5=№ (У, —В—В,—В,,) (У, —В—Ви-— Ву 


независимы и имеют распределения Уишарта в,» (5), 
Фит ($), Шут ($) И ф-т) у-оча, т ($) соответственно. В част- 
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ном случае скалярной велинины У величины $,/),, 
5:/Э,, 5/Р, и $/), имеют /?-распределения с 1, и—, 
Ти (и—1) (*—1) степенями свободы о 

В дополнение к общим способам построения довери- 
тельных областей для Б,, В, 6, и К, и проверки гипо- 
тез о В, 6, 6, Зи 4в данном случае возникают 
дополнительные возможности вследствие независимости 
5, о И5.. В частности, в случае скалярной величины У 
для нахождения доверительных областей для 6,, 6, и 6, 
по отдельности и для проверки гипотез о них. можно 
воспользоваться тем, что отношения 


(и—1) (У—1) 5/5, (У—1)5,/5, (щи—1)5,/5 


имеют Р-распределения {), (и-1)(»-1) (Г), и-1, ш-иу-ь () 
и Кр и-ио-ь ([) соответственно. Это дает для матриц 


Ь, и 6, доверительные области 


= 


У. (Вы—в, 0 < <= 


= 


Уфы, < (66) 


1. 


где »„— верхняя 100 (1 —@)-процентная точка Р-распре- 
деления [и-1, (и-1) (у-1) ИЛИ [у-1, (и-1) (у-1) СООТВетственно. 
Для проверки гипотезы о равенстве 6,; и 6,, данным 
значениям (обычно 0) достаточно установить, удовлетво- 
ряют эти значения соответствующему неравенству (66) 
или нет. В первом случае гипотеза принимается, а во 
втором отвергается. 

Совершенно так же дисперсионный анализ произво- 
дится при любом числе факторов. При этом в случае 
полного М-факторного плана, когда величина У наблю- 
дается при всех комбинациях уровней факторов, кроме 
влияния факторов по отдельности, можно учесть еще 
взаимодействие их по 2, по 3,..., по №М—1. Так, на- 
пример, в случае полного трехфакторного плана можно 
предположить, что 


МУ = -6,; Но, бк бл», и баз, в Оз, уд. 
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Пример 11*). Даны результаты полного четырехфакторного 
эксперимента при четырех уровнях первого фактора, трех — второго 
и третьего и двух — четвертого: 


Учитывая взаимодействия всех факторов по два и по три, строим 
модель вида | | 
МУ гы = Во- баг В -Е Взк-Н бщ- Вэл Вазик-Е Вааи-Н 

=. озук-Е ба за ВтозлЕ-Н 1-Е Руза В озалг (Г) 


Где 11, ...› блогу» ++» Отозгуь +, удовлетворяют условиям типа (57): 
р => Ь>} - „7 64 =0, 
у 6121] -> бу =... :-> Ва Е за =0, 
> Вог уЁ - Быть = тук =... а» бозау к 0. 
: ] 


‚ Число независимых параметров Во, бурь ++.» 823471 = 2, 3, 4; 
Е =1, 2, 3; [=1,2) г= 60. Оценки параметров Ро, баг, .. ‚бэ: с 


*) Исходные данные этого примера и результаты вычисления на 
ЭВМ сумм квадратов по программе АМОУА заимствованы из [94]. 

Программа дисперсионного анализа АМОУА включает три под- 
программы: АУРАТ, АУСАГ, МЕАМО. Эта программа реализует” 
вычисления для дисперсионного анализа факторных планов с числом 
факторов до 6, а при соответствующей модификации и с большим 
числом факторов [94]. 
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...› буозёук, ‹.. Определяются формулами 
т Е Е 
Во =У = -5 У Ур, Ву; = 18 В во еу 
Е, 1 1, Е, { 
"Вы 6 ку. Ууи- В В:— Ву, ...’ 


Втозг у 1 Ули — Во— Ви— В, — Взк — Вл; — В1зк— В эзук, ... 
1 


Суммы | ь 


5 = > (Ум Вы —Ви— Вы) — Ви Ви Выру Ваз 
м 


— Вии — Возук— Вал Ван — Вуз Воин -— Взин — Вуз1111)*, 


$1 = 18 № (В! — 61), 5$, =24 У (В.;— 65), 
[ ] 
бз==24 > (Взк— 6 )?, 5: =36 2 (Ви— 6), 
512 == 6, (Вы , б1з == 62 (Влзгк — Ваз)? , 
1, ] 
$и=9 У, (Ви Влаи)®, 5ывУ (Вазле — базу), 
Ь1 
924 = 12 > (Ван Вал), 94 = 12 р (Взаы-— 6ззк 0)", 
9123 =2 у (Влози — Ваз), 9124 =3 у (Ви — Вузе) , 
Г, Е [,( 
$11 =3 у (Влзагы — Ваза )®, 523: =4 ра (Въза лы — бъзальд)? 
Г. Ю { Г, к, / 


в случае нормального распределения величины У с независимой от 
факторов (постоянной) дисперсией 0), независимы иъимеют х?-рас- 
пределения соответственно с А =12, А, =3, К =Аз=2, А. =1, А\о = 
= А1з3=6, А14=3, №з=4, Ад ===, А1оз==12, А1зз == 134 =6 и 
Юз: ==4 степенями свободы. 

Результаты вычислений. 


1) Оценки параметров Бо, Вар, „.., Возаург в =9, 40278, а осталь- 
ные оценки даны на стр. 389 и 390. 

2) Значения сумм $, 51, ..., 52за при б1р=... ==6бз4а/н=0 и 
оценка дисперсии величины У:- вы | ‚02777, 229.04 (66. За = 
‚ =722,69434, 53=055,11110, 5. =141,68054, $1. = 1382,08325, $13 = 
= 42,00000, $14 = 18,81944, $23 = 13,13889, $24 = 6,02778, $3. =40,77777, 
$123 = 140,75000, $12. = 176,97221, $13. =50,55554, 52.4 = 62,63889, 


Б, = 151,02777/12 = 12,58566. 


3) Доверительные области для параметров 61;, „.., бозауы» СООТ- 
ветствующие коэффициенту доверия & = 0,95, при нормальном распре- 
делении величины У (с учетом результата примера 5.24 относительно 
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к ————о———— 


2,041 —0,695 
0,653 4,180 
0,153 —3,486 
—2,847 
121] | В ЗЕ 
1 2 3 1 2 3 


{ 

| |—-5,749| 10,0431 —4,291|—0,667| 0,834|—0,166|—0,374| 0,376 
2 1,806|—1,903| 0,096] 0, ‚388 0 055 —0 ,946|—0,431 
Э 
4 


3. 139 —6 ‚736 3, ‚597 0, 2 0, ‚222|—0,445|—0,042| 0,042 


Ь 237 


2 3 1 


—0,138| 0, 140} . 0,861|-—0 ,861 
—0.263| 0’265| 2 0’11!|—0,110 


0,236 |-—0,555| 0,396 
—0,964| 0,820|—0,555 
0,027 |--0,261| 0,236 


(© в — —. 
д — -—. 


; 
|1 |-—1,625| 2,208—0,583| 0,999|—1,543| 0,538] 0,623|—0,668 0,041 
2| 0,1531—0,513|] 0,3631 1,611 0,070]—1,682-—1,763| 0,446] 1,312 
3|—0,014|—1,180] 1,195|--3,223| 1,735| 1,488] 3,236|—0,555|—2,680 
4| 1,487|—0,513|-—0,972| 0,611|-—=0,264 ее —2,097| 0,778] 1,320 
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—. 
— 
5 
© 

— 
>) 
[^) 


| 
1 0,915 | —0,627 | —0,293 | —0,918 0,625 0,290 
2 1,472 | —2,236 0,765 | —1,473 2,236 | —0,764 
3 —3,306 2,486 0,819 3,305 | —2,486 | —0,820 
4 0,916 0,375 | —1,292 | —0,917 | —0,375 | —1,291 
В Заги | 
[ 1 7. 
1: 1 р. 3 
| 
] 0,499 |`—0,250 
2 0,611 | —1,470 
3 — 1,445 1,473 
4 0,333 0,251 
5 2341 1 
1 1 2 
|: 1 2 3 1 о 3 
| 
] . | 
1 —0,320 1,055 | —0,737 0,319 | —1,057 0,736 
2 —1,070 | —0,320 1,388 1,068 0,318 | —1,389 
3 1,389 | —0,729 | —0,653 | —1,389 0,732 0,653 


распределения отношений ($1/3)/(5/12), ...): 
18 [(2,041 —611)*-- (0,653 —в12)?*-| (0,153 — 653) - (2,847 --644)?] < 


о - я 151 02777 =25.3,49. 151,02777 —130,963, 


ь Г ® ® ° Г ® 2 о ` й * ® ® ® . ® ° ооо о Ф ® ® 9 Ф ® Ф Г] Г 


12 [(0,861 — 64, 11)? -- (0,111 — 6за, 21)? -[ (0,972- Вза, за)? -- 
- (0,861 - зал»)? (0,110-[ бзаз2)* | (0,972 — 6заз2)?] < 
< ы [м -151,02777 => .3,88 -151,02777 = 97,670, 


4) Проверка гипотез о независимости величины У от факторов. 

Нулевые значения параметров бзр, б1згк, блаш, базу, боауи, Бзакрь 
ото: у к» 012471» Ваза’, бэзау попадают в соответствующие довери- 
тельные области (в этом легко убедиться, подставив полученные 
значения сумм $53, $13, 514, 523, 524, 534» $123, $124, $134, 5234 При нулевых 
значениях параметров 6бзь, Вазгк, 61а, Возук, бал, Взамь Влазь, 
6124111» Олзагки» Вэзаук! В Левые части неравенств, определяющих дове- 
рительные области). Поэтому можно принять гипотезу о независи- 
’ мости У от третьего фактора, взятого отдельно, и в комбинациях 
с любыми другими факторами и сб аддитивной зависимости У от 
четвертого фактора (т. е. об отсутствии взаимодействия четвертого 
фактора с первым и вторым). В результате принимаем упрощенную 


‚ модель 
МУ ув =во-- 1: -- 65; -- 6-Е 612. (11) 


При этом новая сумма 9 будет представлять собой сумму э-- 5: 
-- $13-Ё Э14-- Э2з-[ б 24-Е Эза-- Э12з3-- Э1эа-[ за и ее у?-распределение 
будет иметь 59 степеней свободы (число независимых параметров 6%, 
баг, Б.у, Ват, 12; (# = | , 2, 3, 4; = 1, я 3; т 1, 2) Г —= 13).. Оценка 
дисперсии величины У будет равна | 
__ 757,8239 


б= о =12,84447, 


а доверительные области для параметров 61у, Ву, Вау и Ву опре- 
делятся неравенствами 


18 [(2,041 — 611)°- (0,653 —615)*- (0,153 — 61з)*- (2,847 + в4)*] < 


3 _ 3 в 
< 5б [< -757,8239 = 59 .3,15-757,8239 = 121,380, 


© оо оо бо во ооо оо ооо о ово фо дэо@оофооф ф 


Полученные результаты иллюстрируют сказанное в п. 4.6 относи- 
тельно того, что более сложная модель может оказаться менее точ- 
ной, чем простая, при данном сбъеме информации. В данном случае 
простая модель (ШП) практически не хуже сложной модели (Г) по 
точности, так как оценки дисперсии величины У (остаточной дис- 
персии в случае детермипированной модели) у них практически 
одинаковы, а доверительные сбласти для параметров у модели. (1) 
даже несколько меньше, чем у модели (ТГ). 


5.4. Неполные планы экспериментов. Полные многофак- 
торные планы редко удается осуществить из-за практи- 
ческой невозможности провести наблюдения при всех 
возможных комбинациях ‘уровней факторов. Поэтому 
для практики особенно важное значение имеют неполные 
планы экспериментов. При этом возникают задачи опти- 
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мального выбора комбинаций уровней факторов при 
данном числе экспериментов с целью получения мини- 
мальных  дисперсий оценок параметров. Методы решения 
таких задач дает теория планирования экспериментов 
[7—9, 38, .68,. 108, 116]. 

Простейшим неполным трехфакторным планом экспе- 
римента является так называемый план латинского квад- 
рата. В этом плане все три фактора имеют одно и то 
же число уровней д и при каждой комбинации уровней 
любых двух факторов наблюдение производится только 
для одного уровня пе фактора. При этом число 
наблюдений равно р” вместо и" в случае полного трех- 
факторного плана. 

Ясно, что для неполных планов не все взаимодейст- 
вия факторов могут быть оценены из-за недостаточности 
числа наблюдений. Так, например, в плане латинского 
квадрата взаимодействия факторов невозможно оценить, 
так как для каждой комбинации уровней двух факторов 
имеется лишь одно наблюдение. 

Дисперсионный анализ для неполных планов произ- 
водится совершенно так же, как для полных. Только 
суммирование при вычислении средних производится не 
по всем возможным комбинациям уровней факторов, 
а только по тем, для которых производятся наблюдения. 
Соответственно изменяются знаменатели и числа слагае- 
мых в выражениях средних. 

Принимая для плана латинского квадрата 


МУ = Ев -ь, -Евь С, о Я 


[6 и 
2 в; = 2 6.) = о р, =0, 


получим несмещенные оценки параметров 6х, 61;, 6.,, 6.» 
и К,: | 

В, = У Уиь В; ; = ву Ил В., 
(о (67) 


-У а 0 В, У т 
я: (Г) - [3 (Е) 


Оо, | 
5= (У ь— В— —В:— -В,— Вз») х | (68) 
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где [— множество комбинаций индексов #1, |, №, для ко- 
торых производятся наблюдения, /, (Г) —множество ком- 
бинаций индексов |, К, . которых при данном 1 про- 
изводятся наблюдения, /, (1) =4{(], Е): (1, |, КЕ 1}, И 
точно так же а (д = (6, №): (1, р ЕП 
и / и :2, , РЕГ. ВТО В, и матрицы В, = 

= = [Вт Ври] (р=1, 2, 3) не коррелированы, и ковариа- 
ционные и векторов В, В;;, В,; и В.ь опреде- 
ляются формулами (60)—(62) при УИ. Несмещенные 
оценки этих матриц получаются заменой в (60)—(62) 
матрицы К, ее несмещенной оценкой из (68). Несмещен- 
ные оценки, ковариаций средних за счет каждого из 
трех факторов 


Г ь 
| а Уьы, (р=1,2, 3) 


а 


определяются формулой 


. $ | р | 
. Н.В»; я ф-т, 2,3) (69) 


В соответствии с Лон -диагональной структурой 


матрицы А $ 3 в данном случае величина ((— 5) А (в— в) 
представляет собой сумму четырех слагаемых: 


З=* (Вв— 65%) (В — 6,7, 


у ; т (70) 
5$,=р © (В: —6;) ВО) | (р=1, 2, 3). 


В случае нормального распределения У величины Ву, 


В,, В. и $ независимы. Вследствие этого статистики 
„ о) ©. 3 И 5 независимы и имеют распределения 
Уишарта в,» ($), ®ии ($) (общее распределение 5,, о, и 
93) И Ша- а и 241, т ($). Если У-—-скалярная величина, 
то 5./),, 5/Б,, 5»/),, 53/Ру и 5/), имеют У?-распре- 
деления. с ], в И и— ВП @— 2) степенями свободы. 
В соответствии с этим определяются доверительные об- 


ласти для В., В., В. и В. и проверяются гипотезы о них 
по отдельности и в любых комбинациях. 

Более подробное изложение методов дисперсиОнного 
анализа читатель найдет в |123]. 


Глава 10 


СТАТИСТИЧЕСКИЕ МОДЕЛИ, П 


$ 1. Модели, описываемые разностными уравнениями 


1.1. Модели авторегрессии. В приложениях часто 
встречаются последовательности случайных величин, 
определяемые рекуррентным соотношением вида 


У +=, (У, Ав Ув р-1) НФ, (У, те И (1) 


где {ф,Ёр и {ф,! — некоторые последовательности функций, 
а {У,} —последовательность независимых случайных ве- 
личин с нулевыми математическими ожиданиями *). Со- 
отношение (1) определяет модель формирования последо- 
вательности {У,} из последовательности независимых 
случайных величин {У„}. Такие модели называются мо-. 
делями авторегрессии вследствие того, что первое слагае- 
мое в правой части (1) представляет собой условное 
математическое ожидание величины У,„., относительно 
У,, ..., Ул+р-ь Т.е. регрессию каждого члена У„.,р 
последовательности {У„! на непосредственно предшеству- 
ющие члены той же последовательности У„, ..., Уп+р-1- 
Число р называется порядком модели авторегрессии. 
Последовательность {У„} может быть конечной 
(п=1, ..., №), или односторонне бесконечной (п=1|, 
2,...), или двусторонне бесконечной (п = 0, +1, +2,...). 
В первых двух случаях уравнение (1) определяет члены 
последовательности {У„, начиная лишь с У ра, Е 
..., Ур Могут быть произвольными случайными величи- 
нами (конечно, независимыми, от величин У,). 
Уравнение (1) представляет собой разностное урав- 
нение р-го порядка, определяющее последовательность 


*) Предположение, что МУ,„=0, очевидно, не ограничивает 
общности, так как если МУ, 72 0, то величину \р (Ум, ...,Уи+чр-1) МИп 
всегда можно включить в функцию Ф (Ур, ..., ре 1). Тогда во 
втором слагаемом останется центрированная. случайная величина 
Уп =У, — МУ_. | 
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{У„!, так как Уз-ь -.., Ур МОЖНО выразить через У„ 
и разности АУ, = У„+.:—У,, ..., АРУ, =АР-1У„..— АР У,. 
1.2. Линейные модели. В случае, когда функции Фф,„ 


линейны, а \ф, не зависят от У,, ..., У„+,-ь Ууравне- 
’ние (1) определяет ее модель авторегрессии *): 
ь1 
= Хану, 
Г = 


где а„, ал, ..., @,-г, „Некоторые коэффициенты 
(матрицы в случае векторных величин У,). | 

Кроме моделей авторегрессии, часто встречаются мо- 
дели вида 


< 
ыы 2 Я зв Е 
$=0 


Такие модели называются моделями скользящего среднего. 

Ясно, что линейные модели авторегрессии и модели 
скользящего среднего представляют собой частные слу- 
чаи ОНА _- определяемой уравнением 


р. 
У+р = р: а Пт ЕН > ле (2) 


Обратим внимание на то, что во всех рассмотренных 
моделях величина У„.„ не зависит от последующих ве- 
личин У, иУ,. Это соответствует реальным ситуациям, 
когда любая система может использовать лишь сигналы, 
поступившие на нее в прошлом, но не может реагиро- 
вать на сигналы, которые подействуют на нее в будущем 
(условие физической возможности системы). 

1.3. Приведение линейной модели к модели авторе- 
грессии первого порядка. Докажем, что комбинированную 
модель (в частности, линейную модель авторегрессии) 
любого порядка можно привести к линейной модели 
авторегрессии первого порядка. 


» Введем новые случайные величины Пи, ..., Яр» 
определив их соотношениями — 
Тя ы тя ия Г (3) 
Вр, па == бана, в Е 9+, Ин (В =1, м. р—1), 
где 09, ..., @»„-—` Пока неизвестные коэффициенты 


(в общем случае матрицы). Тогда будем иметь 
ты = 21, п+1 ых Чт, п+1'п+1 = 2 ЗЕ Чет" Е Чт, +1 /п+1 


*) В этом случае постоянные множители р, можно включить вИ,,. 
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и вообще 
а Пора О нана 
| | (г=]1,..., р—1).. (4) 
Заменив в этой формуле при г =р— 1 п на п-- 1, получим 
р аа баны -... 91, р п+р == 
р 


=. + 2 а .(5) 
`Подставив выражения (4) и (5) в (2), будем иметь 


р ь 

ой ее 2 Чр-5+1, 5 /и+5 == 

в 
у 1 


р- 
1 


= @ тп ян ЧИ ные 


Г= 


о 


р 
— 
-|- > Ра +5’ 
$ = 
ИЛИ | 


р 
Вр, та Е > киа Гоа ыы | 
$ = 
р-1 р-1 р-1 р 
ь. ы 
г №2 а брат, в НЕ >> т >> Я пез, п+ё -Р 2 в аа 
г=0 | $=0 Г=$ $=0 
| (6) 
Определим теперь 01„, ..., 9» так, чтобы уравнение (6) 
не содержало У„+г, ..., „+, Сравнивая коэффициенты 
при У„., в левой и правой частях уравнения (6), по- 
лучаем | 
Чт, п+) — Он 
Отсюда, заменив й на п—р, находим 


91. т”. й п-р* ь 
Сравнивая коэффициенты при И,„.,(3$=1, ..., р— 1) 
в Левой и правой частях уравнения (6), получим 
: р-1 
®&. 
Ч р-5+1, п+5 — > ааа РО 
Г=$ 
Отсюда, заменив И на п—5, находим 


р--1 
= | 
Чр-5+т, „=Ь,, п-; нЕ — Я, п-; Чь-з+1, п 


# =$ 
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Введем теперь вместо индексов $ и Р новые индексы № 
и [, положив р-$-1=А, г—$--1=[. Тогда будем 
иметь $5=р—А-1, г=р—Е--[, и полученная формула 


примет вид 
Е—1 


- “1 
Физ == Вр-к+т, а Хх Я р-ь+1, п-р+Е-1 Ча 


р 


Определив таким образом 91„, ..., 9„„, найдем коэффи- 
циент 9р+1,„ При У, в (6): 
р-1 


ЕО и > Яд е+т, в. 
В результате уравнение (6) примет вид 
ый № 
Вр, в+1 = > ен бен И * (7) 
| г=0 . у 


Равенства (3) и (7) представляют собой систему разност- 
ных уравнений первого порядка, определяющую вели- 


чины 2:„, ..., би. Положим теперь 
ея Го Г Юз о 
бал 0000г... 0 
И а а Е , 
2 рп 00 0... / 
= [ @он @1н @эп. + @р-1 т | 
Г 92п я 
зп 
И =|... У 
Чр+1, п 
| | 
где О— квадратная матрица той же размерности, что и 
а,„, @1, ..., @,-т. п» ВС@ элементы которой равны нулю, 


а /— единичная матрица той же размерности. Тогда 
уравнения (3) и (7) запишутся в виде одного уравнения 


ИЕ, =С,б,- Й.. 


Таким образом, мы получили линейную регрессионную 
модель первого порядка. «4 | ° 

_ 1.4. Нелинейные модели. Кроме линейных и нелиней- 
ных моделей авторегрессии, на практике встречаются 
и более общие модели, описываемые нелинейными раз- 
ностными уравнениями вида 


а т = ( у,), (8) 
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где {®,! — последовательность известных функций, а {У„}— 
последовательность независимых случайных величин. 

К модели (8) приводится и более общая модель, опи- 
сываемая уравнением 


УФ, (Тарса Рае Та 


Для этого достаточно ввести 'последовательность векто- 
ров {7}, 0, =[Ул...Ульр-1|”, и добавить тождественные 
уравнения У„-: = У, +1, -.., У +, =У,+р- Которые 
можно записать в виде И.:1.1= 0», +.., Дича» ра бир. 
Эти уравнения вместе с данным . уравнением можно за- 
писать в виде уравнения (8) для последовательности 
составных векторов {7}. | 

В частности, уравнение авторегрессии (1) приводится 
таким способом к уравнению (8) при ©, (у, 9) =ф, (у) + 
Еф, (у) 9. 

Построение моделей авторегрессии, а также некото- 
рых моделей типа (8) по экспериментальным данным 
производится методами, изложенными в 5$ 9.3 и 9.4 
(см. также [34]. 


$ 2. Оценивание величин, определяемых разностным 
уравнением 


2.1., Нелинейные модели в общем случае. Большое 
значение для практики имеет задача оценивания после- 
довательности случайных векторов 1{У,„!, определяемых 
разностным уравнением вида (8), по результатам изме- 
рения на каждом шаге некоторых функций вектора У’,. 

’Так как измерения всегда сопровождаются ошибками, 
то полученная в результате измерений последовательность 
случайных векторов {Х„} в общем случае определяется 
формулой | | 

А, = 0, (У,, И,), (9) 


где 16„! — последовательность известных функций *). 


*) В задачах практики ‘ошибки измерений обычно не зависят 
от случайных величин И» в уравнении (8) формирования последо- 
вательности векторов {У„}. Вследствие этого правая часть уравне- 
ния (9) представляет собой функцию @и (У„, И»), где {И „}— после- 
довательность независимых случайных величин, независимая от {У„}. 


/ 
Однако &„(Ун, И„) и вп (Уп, И„) можно ‘рассматривать как функ- 


ТТ. 2 
ции Ум и составного вектора И, =[Ий т: Поэтому случай не- 


зависимых ошибок измерений и случайных величин в уравнении 
формирования векторов У, можно рассматривать как частный слу- 
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Таким образом, возникает задача оценивания случай- 
ных векторов У,„, определяемых разностным уравнением 
(8), по результатам наблюдения случайных векторов Х,„, 
определяемых формулой (9). | 

Будем искать оптимальную оценку У„.: каждой ве- 


личины У,„.: в классе функций величин Л,, ..., Х,, 
определяемых разностными уравнениями | 
У 1+1=0,5, (У, Х,) у | (10) 


при заданной последовательности функций 1&,} и при 
всех возможных значениях 6, иу,. При этом будем пред- 
полагать, что распределения всех случайных величин И, 
известны. В качестве функций &, в (10) можно взять 
векторные функции любой размерности. Соответственно 
0, будут прямоугольными матрицами, а 1, —векторами 
той же размерности, что У, и У,. 

Поставленная задача сводится к определению опти- 
мальных значений 6, и 1, при каждом и, при которых 
средний квадрат ошибки М|У,.:—У,„ +: минимален. 

На основании сказанного в $ 9.2 задача определения 
оптимальных значений б, и т, в (10) равноценна задаче 
нахождения линейной средней квадратической регрессии 
случайного вектора У,„.: на случайный вектор Х,„ = 
=, (У,, Х„). Следовательно, оптимальные значения 6, 
и у, определяются уравнением: (9.14) и формулой (9.15), 
которые в данном случае имеют вид 


б,К, =», "=т„— би, (11) 


где А„— ковариационная матрица случайного вектора 
— Ж=Ь (Г, Х,) *), 
К, =М [5, (7, Х„) — МЕ, (У, ХР, Хы, 


[„—взаимная ковариационная матрица векторов У„ +1: 
И Хп = Е Пт Х,„), 
[а = М (У+1— МУ +1) а („ А) 


чай, когда координаты каждого ‘случайного вектора У„ распадаются 
на две независимые группы, от одной из которых зависит функция 


@п в (8), а от другой —функция @л в (9). 

*) Для любых случайных векторов 2 и 0 Ка == М260°Т = 
—= М2 (ИТ—тГ)= МИГ. | 
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| . т, и [, математические ожидания векторов У, и 
=, (, —# соответственно, 


Ми а МЕ, (7, Х,). 


Соотношение р» и вытекающее из него соотношение 
М (У—У) У* =0 в данном случае дают 


М И) Сы я Хи)" = 0, М (и — Уна) Гы =0. 
(12) 


Для определения К,, [., т, и [, достаточно знать 


совместное распределение величин У, и У, при каждом п. 
Действительно, подставив в формулы для К,, Г, т, и [, 
выражения величин У„.1 и Х, из уравнений (8) и (9), 
получим К,, Г, т, и [, как математические ожидания 


некоторых функций случайных величин У,„, У, иИ,. Но 


У, и У, являются определенными функциями величин 
У,, ..., И,_, в силу уравнений (8)—(10) и, следовательно, 
не зависят от И,. Поэтому для вычисления К‚„, [/, Тьи [, 
достаточно знать совместное распределение величин у. 


и У, и распределение величины У,, которое по предпо-. 
ложению известно. 


_ Чтобы определить совместное распределение величин 
У, и У,, достаточно найти их характеристическую функ- 
ЦИЮ 

= ре ТУ 
бп (^, Ц) = Мехр {2^ У щ о 
Для этого подставим сюда выражения У, и У, из урав- 
нений (8) и (10) с заменой п на п—| и после этого 
подставим в полученное выражение величину Х,„-; из 
уравнения (9), заменив в нем п на п—1. В результате 
получим 


п (^, и) = Мехр А, Е УЕ = 
а [6 -16.-1 (Ул-ь @и—1 (УИ и 2 (13) 


Правая часть этой формулы представляет собой математиче- 
ское ожидание известной функции величин У„_;,У„-ти!,- 


причем У„-ги У,-, в силу (8)—(10) независимы от И, _ 
Поэтому для вычисления характеристической функции 


0, (^, и) величин Ули Я, достаточно ‘знать характери- 
стическую функцию о и) величин Уи Уи 
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распределение величины И„_;, которое по предположению 
известно. 

Таким образом, формулы (11) и (13) определяют ре- 
куррентный процесс, позволяющий находить на каждом 
шаге а, б, и }, по известным 9,-1, б.-1 И 1-1. 

Чтобы начать рекуррентный процесс, необходимо за- 
дать совместное распределение величин У, иУ, (началь- 
ное распределение). 

Если распределение величины уе (независимой от У,) 
известно и определяется характеристической функцией 


к. (^), можно принять за оценку У, математическое ожи- 
дание т, величины У, У = =МУ,, и определить 


совместную характеристическую функцию У\ и У, фор- 
мулой 


в, (А, в) ЕЁ, (0) ей ть, 


Можно также определить оценку У, как случайную ве- 
личину с выбранным произвольно распределением и 
принять — | 


а, (^, и) =, (^)) [, (н), 


где [, (и) — характеристическая функция величины У’. 
° Если распределение величины У, не известно, то его 
приходится задавать произвольно. После этого началь- 
ная характеристическая функция 2, (А, цв) определится 
так же, как и в предыдущем случае. | 

Так как величины Х„ не входят в уравнения (11) и 
(13), определяющие 6,, }, и ©, то все последователь- 
ности величин {9,}, 16.} и {),} можно вычислить изло- 
женным методом заранее. Тогда процесс оценивания по- 
следовательности величин 1, } сведется к применению 
рекуррентной формулы (10). 

Изложенный метод оценивания случайных величин У’, 
определяемых разностным уравнением (8), в силу СВОЙСТВ 
линейной оценки регрессии со сдвигом дает несмещенную 


оценку У, каждой из величин У, при п> 1 (оценка У, 
выбирается произвольно, вследствие чего она может быть 
`смещенной). 


Точность оценки. У, можно характеризовать вторым 
моментом ошибки 


Ю,=М(У,-—У,) (ТГ —УТ) 
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или средним квадратом ошибки 
== М (ут --- У!) (У, —У,) -- {г м 


которые определяются характеристической функцией 
с, (^, в). Можно также находить доверительные области 
для У„, поскольку &,(^, и) полностью определяет сов- 


местное распределение величин У, и ХУ,. 

Изложенный метод дает условно оптимальные (опти- 
мальные в данном классе функций) оценки величин У» 
при любых функциях &,. Однако качество получаемых оце- 
нок зависит от того, как выбраны функции С,. Естественно 
рассчитывать на то, что достаточно хорошие оценки 
можно получить, если выбрать функции &, так, чтобы 
уравнение (10), определяющее оценки, было близким по 
форме к уравнению (8), определяющему оцениваемые 
случайные величины. Других рекомендаций о выборе 
функций &, пока еще дать нельзя. Вопрос о рациональ- 
ном выборе 5, нуждается в дальнейших исследованиях 
[81, 82]. 

Пример 1. Последовательность скалярных случайных величин 


{У„} и последовательность наблюдаемых случайных величин {Хи} 
определяются уравнениями 

Уп+1 = (Уи Ир), Хи=У,-Н О», 
где {У,} и {И„}-— независимые последовательности независимых 
случайных величин с нулевыми моментами первого и третьего по- 


рядков. Найти оптимальные рекуррентные оценки величин У», 
удовлетворяющие разностному уравнению первого порядка 


+1 = 0 [7л 7(Х,—Р) (ХУ Ул. 


Выбор в качестве д„б„ квадратичной формы переменных Я, иХ„— Я, 
в данном случае естествен, так как при этом уравнение для оценок 
получается похожим на уравнение, определяющее величины У», 
вследствие чего можно надеяться получить достаточно точные 
оценки величин Ух. 

Оптимальные коэффициенты би и п определяются в данном 
случае формулами (11). При этом’ получаем следующие формулы 
для элементов матриц [„=[” 2” 188] и К,=[АР] и для мате- 
матических ожиданий ти и [,: 


1") -—- МУ 7? — МУЁ МР, 
ДОМУ 5 МУМИ И В, 
7 — МУ& — (МУ?) — фо, 
В = МЯв— (МУ?)?, 
Е — МУР — МУР, МР? — т, 
ры р = а О. 
КР — МУ? п’п-— (МУР) -- НМ Рф, 
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(т п п) (п) (п) орт тор я: 
ВИО — МТ — 35 — 3) — 2052) | 2Н,МУнУн, 
А 2 8—4 — 23’ — 4622’ — 4653) Ни — На + 
-4Н,МУЯ, 
ха 
Ти = МУ п-- С, 
р =[МЯ МУР, -— МИ МУЗ М7 —2МУ У, Н|, 
где Н, и С„-— дисперсии величин Ин и Ур соответственно, а Ни — 
четвертый момент величины И». В случае нормально распределенных 
величин И» Ни=3ЗНпт. Для вычисления вторых и четвертых момен-. 


тов величин Уни У„ в полученных формулах достаточно знать сов- 


° местное распределение величин У„ и У». При этом моменты можно 
вычислять или дифференцированием характеристической функции 


5 (^, и) величин Ури У„, или интегрированием, считая известной 
плотность | 


ея бе 
Гы (у, = у та (А, р) Фар 


_х -—х 
величин Ун и Я: 
о [**) 
и 
МУз =— 15| = | | УТ (у, п) ау ат, 
-х-х | 
_ 92 х © | 
МУ, =— 9 | = | уп, (и, п) ау ат, 
—_х -х 
уе 92а [7 |2) 
МУ =— | 5 | = | | Иа (у, 1) 4у а, 


| УТ (у, 1) Чиа, ‘ 


|6) 
| учи, @, п) дут, | 


| Ут, (у, п) ауа\т, 


Са 015 ап 
мр! — | ыы" | = \ \ И"Ёь (и, 1) ау ат, 
—-х -х® 
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где индексом 0 внизу отмечены значения величин в квадратных скоб- 
ках при ^=и=0. 

Уравнение (13) для характеристической функции в, (А, ц) имеет 
в данном случае вид | | 


|) х |) ее 


80, =) | | | едр {и о+ 
-Н а (би [12 м (и—и-Н и) (иу—м- и) у, 1} Х 
Х [-1 (5, 1) Ри-1 (5) Чв-—1 (и) аи до ауа\, 


где ри-1(9) и 9,-1(и)— плотности величин Ун_1 и Ин- и соответ- 
ственно. | 

Полученные формулы определяют рекуррентный процесс для 
последовательного вычисления бп, [и би И фи. 


Аналогично решается задача экстраполяции (прогноза) 
последовательности {У,„}, т.е. оценивания вектора У,„. р 
после получения наблюдения величины Х„ (р> 1). Для 
экстраполяции на р— 1 шагов следует определить оценки 


У, векторов У„ уравнением 


в пы жа ее Х„) У». 


При этом все предыдущие выкладки останутся практи- 
чески неизменными. Только для нахождения К„, [, т, 
и [, в (11) необходимо будет определить совместную 
характеристическую функцию с, (Л, ци, ..., и} случайных 
векторов У,, У,, -.., У„+,-1. Эта характеристическая 
функция определяется совершенно так же, как в, (А, и) 
в рассмотренном случае [81, 82]. 

Заметим, что изложенный метод дает также возмож- 
ность оценивать не все координаты векторов У’, а только 
часть их. Для этого достаточно взять функции &, (у, х) 


(или б,(у:, ..., У») в случае экстраполяции), завися- 
щие только от соответствующей части координат век- 
тора у (у:, ..., У, в случае экстраполяции). 


2.2. Нелинейные модели авторегрессии. Рассмотрим 
частный случай нелинейных уравнений авторегрессии, 
когда уравнения (8) и (9) линейны относительно вели- 
чины У,. В этом случае ^ 


в, (у, 0) =, (Еф, (Ио, (= + (14) 


где ф,, ф,, фл и 1, — известные функции. В этом случае 
естественно выбрать функции 6, в (10) так, чтобы урав- 
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нение (10) было линейным относительно Х„, т. е. принять 


И у, х) = [Ен (у)7 хТи, (у) (15) 


и соответственно положить 6, = [0 В, |. 
Уравнения (8) и (9) имеют в данном случае вид 


Уи+1 = Фит + ф, ( И р (16) 
д Не Фа (У„) = ри (У„) | (17) 

а уравнение (10) можно записать в виде , 
Е - (7) -Е Вы» (7,) Ара (18) 


Матрицы А,, Г, и векторы т, и [, определяются 
при этом формулами 


(1) (п) и 
ке, Беван |] 
где 
ит = М [, (У) — Мф, (УЕ, (т, 
ке = М [, (У,)— Мф, (У„) Фа (УТ т, (т 

+ Му, (У,) би» (УТ м, (т, 
жр = М [6, (7„)— МЕ, (Р.Е, (7), 
к = фт = М [Е, (7) — МЕ, (Г) Ф (У) т, (РТ, 
к = М [ч, (Г,) Фе (У,)— Ми, (7„) Фа (У) (У )Ти,(У„)т-- 
+ Ми, (У) (У) бы (УТ м (ИТ, 
т, = Мф, (У„), Г. 
1% = МЕ (У), = Му, (7) (Т,). 
Подставив выражения матриц К, и Г, и 6, =[@а,-В, | 


в первое уравнение (11), получаем уравнения для опти- 
мальных значений ©, и В, в (18): 


(п (п) (п 
АР +В, ХИ = Жо, 

(71) п 

оз ЕЕ Вых — Хо о 


(19) 


Подставив выражение вектора [, и 6,=|а, В,| во 
вторую формулу (11), получаем формулу для оптималь- 
ного значения у,„: | 
7, = ТТ, — ой ай мы Е (20) 
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Положив в (12) & (У, Х,)т=[Е, (УТ Хм, (т, 
получим соотношения 
М (У, У даа) 1 И 0, 
М Ее Уп-1) Хан (У„)Г = 0. 
Второе соотношение (12) при этом не изменится. 
Подставив выражения (14) и (15) функций @®,, ®и и 5, 
иб,_-, =[,-, В,-:| В уравнение (13), получим 
бп (Л, и) =М хр" [Ф,-1 (У„-1) чер зе) У, -:[- 
НИТ “Ен: (Ув- и) ЕВ, Ин-, (И) Фи-1 (У, + 
Ва нь Ухо) Фе) Гены 
Но, как уже отмечалось, величины У,_ги У,_, незави- 


симы от \,-_,. Следовательно, условное математическое 
ожидание | 


М [ехр {1 [^7Ф,-, (У) + 
НиТ, (У н-1) Ри 1 О] И | Те ны 
совпадает Сс безусловным математическим ожиданием, 


представляющим собой значение характеристической 
функции й„_,(^”) случайной величины У,-: при /Л’ == 
не га и Т у Т 

В А, -1(У 1) Пива) и. Учитывая это, 
можем написать уравнение для характеристической функ- 
ции с, (^, в) в виде 


9. (А, и) = МА, -1 (ф,-, (У„- РА Узы” Иа 1х 
Хх Ва) ехр {1А7 фи, (У,- 1) НТ [9 1-1 („-) не 
В -ы-1 (Гь-1) Фи- (У, -+1,-0} (22) 

Уравнения (19), (20) и (22) определяют рекуррентный 
процесс для последовательного вычисления ©,„, %&,, В», 7, 


по известным #,-:, “1, В,-1, Т,-1. Для начала про- 
цесса необходимо задать характеристическую функцию 


с, (^, и) величин У, и У;. Это делается ООВ так 
же, как в общем случае п. 2.1. — | 

В случае экстраполяции последовательности {У,„} на 
р—1 шагов уравнение (18) заменяется уравнением 


а р, 9 р .)-- „| И и И ‚)Х» я: 


`Для определения коэффициентов х!? в уравнениях (19) 
и величин т,„, [” и р в формуле (20) необходимо в 
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(21) 


общем случае знать совместную характеристическую 


функцию ©, (Л, рен И, ) величин У, У„, ..., Унчр-а. 
Формула для этой характеристической функции ВЫВОДИТСЯ 
совершенно так же, как (22) [81, 82]. 

Относительно выбора функций ЕЁ, и "|, можно дословно 
повторить все сказанное в п. 2.| о выборе функции 6.. 
Однако` в некоторых случаях целесообразно потребовать, 
чтобы уравнение’ (18), определяющее оценки, было ли- 
нейным т оценивание). В таких а следует 
Принять Е (у) = (Е, (ут, а Ур) = Е. [иг > и В Е 
о 1, (И) = Г. 

2.3. Линейные модели авторегрессии. О как 
частный случай задачу линейного оценивания случайных 
величин, определяемых линейной моделью авторегрессии 


› +1 — „Ги ео Я по к И (23) 
по результатам наблюдения последовательности случай- 
ных величин 

А, = ви т: оо = фи". (24) 


В этом случае оценки У, векторов У, определяются 
уравнением 


И на в „У, -- В.» т у». 


Для нахождения оптимальных значений ©, Вл и \), 
надо положить во всех формулах п. 2.2 ф, (у) =ау-а,, 


фи (У) =ВУу-%, Е (И) =у, т, (И) =Г, а Ч, и ф, считать 
постоянными. Тогда получим 


ит =а,М(У,— МУ, )УТ=а, Куб’ 
хо = а, я АИ в) (Уз 5 о) Е Ф„ Сия = 
=а,Куби -- ФС ифи, 
им =М(У,—МУ,)УГ=К . 
и =ифТ= М (У, — МУ ТТ вт в бе 
хр, М (У,— МУ, ) (УТЬТ +0) ++ бт = 
ли -- ФС 
т, =а„МУ„-+ а № = МУ» = МХ.-Ь 
где Ау, Ка а И К; „„— ковариационные и взаим- 


-ные ковариационные матрицы векторов У; и У,. Соот- 
ношения (21) в данном случае имеют вид 


М (7„+1—Ун+1) 77 =0, М(Уи-—У, +1) ХР =0. (25) 
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по, 


Второе равенство (12) после замены й-+1 на п дает 


р | 4 —-- \ ——- 

М (У, —У, ЭУТ- = = М (у —УУТ = Кл -——К, д, =0 
Следовательно, с А. и в силу симметрии матрицы 
К;, К; =Ку=К;. На основании этих равенств и 

УпУп Упуп Уп, 


полученных выражений для коэффициентов х;, уравне- 
ния (19) для оптимальных значений &, и В, принимают 
ВИД 

„К, — В.К т а,Ку., | (26) 

т та ‚ ‚Т т ‚Т 
а,К;, бт ЕВ, (6 „К тб -- Ф.О и )=а,„ Куба --ф,С„ п. 

Эти уравнения легко решаются. Вычитая ‚первое урав- 
нение (26), умноженное справа на матрицу 61, из второго, 
получаем 


В» 16, (Ку — К; „6. + 1ф:С п р 
| =а, (Ку—Ку,) 6» + ф,бифь. 


Заметим теперь, что в силу равенств К,; =А; =К;, 
п п 


МУ, = МУ, величина К,„—К;, представляет собой вто- 
рой момент ошибки Ю,. Действительно, 


К. =М(Ф,—У,) (ТУТ =М (ФУ ТУ = 
=А; —^; —К, НК, =Ки— К: 


Упуп Уп’ 


Следовательно, уравнение для оптимального значения В, 
имеет вид. | 


В, (Ю.В -- С риГ) ее аби --ф,бифиГ. 
Решая это уравнение относительно В,„, находим 
В, = (а, „БГ + ф,Сбифег) (6, ВТ + ф.СифГ)-*. (27) 


Заметим, что матрица 6,Ю.67 в задачах практики 
всегда ‘обратима, так как ее необратимость равноценна 
существованию линейной функции вектора ошибки У, —У, 
с нулевой дисперсией. Это означало бы, что соответст- 
вующая линейная функция вектора У, могла бы быть 
оценена абсолютно точно, что невозможно. Тем более 
обратима матрица В. Ю,67 Е ф,.С р”. Поэтому формула 
(27) всегда определяет оптимальное значение р. 

После определения В, первое уравнение (26) дает 
а, =а,„— „6, при условии, что матрица Ку, обратима. 
Это условие тоже всегда выполняется в задачах прак- 
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тики, так как в случае его невыполнения существовала 
бы линейная функция вектора У„, оценка которой имела 
бы нулевую дисперсию, что невозможно. 

Подставив полученные выражения @,„, т‚, ПР и 17 


в (20) и учитывая, что МУ, = МУ,, Находим оптимальное 
значение 7„: 


кий: — а,МУ Е Я то —0,МУ, и. В (6„МУ» т о) — Ч, — р.б. 


Наконец, подставив найденные выражения 4, и |, 

в уравнение, определяющее оценки У приведем его 
К виду 

а Р- а, аи Ви А ре Ван =-Оь) (28) 


Осталось написать уравнение (22) для характеристи- 
ческой функции ©, (^, и). В данном случае оно имеет вид 


п (^, и) = Па (фи аА Ч фи Ви ид) х 
х М |. а о) 
Ка п-т ря ры и, ну н-1 "Яны, о}} = 
п с Фа - АЕ фи Ви 1%) к (Тит) а, 1, о} х 
"ЗеМек {1 (Ата, и’ Раб вза) У ани" “„- ’в-1) 
ИЛИ | 


бт (Л, и) Ее Е (и при Вии) х 
Хх ехр {1 (АГ шт) Я -1, в} Яби-1 (аи, НЫ Ваай, ила). 
Из этой формулы легко выводится рекуррентная формула 


для характеристической функции @, (Л) ошибки У,—У 
Заметим, что 


8» (и) = Мехр {ит (7,—У,)} = в, (—в, В), 
положим в формуле для ты ц) Л=— в. Тогда, уЧиты- 
вая, что —@ р Но Ва = -— ба и что 9, (— “Гоц, 

оТ р) = 57 (1, ен 


О ) = Па 1 —: ет — фи 1) И) &"- ‚ (@л- 1). 


Эта формула полностью определяет распределение ошибки 
У,—У, на каждом шаге и, следовательно, дает возмож- 
ность находить доверительные области для У,. . 

Из формулы для характеристической функции 2, (и) 
ошибки легко выводится разностное уравнение для вто- 
рого момента ошибки К,. Для этого достаточно дважды 
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п’ 


продифференцировать формулу для 2, (и) по в и поло- 
жить после этого и=0. Предоставив выполнить это. 
читателю, мы дадим здесь другой вывод уравнения для Ю,. 

Вычитая уравнение (23) из уравнения (28) для оценки 
и заменив Х, его выражением (24), получаем для ошибки 


У, =У,—У, уравнение 
Уз. = (а, —В6,) У, -- В —ФЬУ, (29) 


Отсюда, принимая во внимание, что У, и У,, а следо- 


вательно, и У„, не зависят отУ,, и применяя формулу 
(3.50) для ковариационной, матрицы линейной а 
случайного вектора, НЫ 


| Ка+1 = (а, —В„6,) в @Т—втвт) -- 
Не (Виа 1) би (фи Ви — фи). 


Раскрыв в каждом слагаемом вторые скобки и пользуясь 
формулой (27), определяющей В,„, можно привести полу- 
ченное уравнение к виду 


В, +. = (а, —В,6,) Кай -- ($, — В.) бфг. = (30) 


Это уравнение вместе с формулой (27) для В, определяет 
рекуррентный процесс для последовательного вычисления 
матриц АЮ, и В,. Характеристические функции ошибок 
2, (и) при этом можно не вычислять. Они могут понадо- 
биться лишь для ое доверительных областей 
для У,. 

Определяемая уравнением (29) оценка У. +1 при каж- 
дом И оптимальна в классе линейных функций (со сдви- 
гом) величин У, и Х,. Докажем, что она оптимальна и 
в более широком классе линейных функций величин 
У, Хх, ..., А„. Согласно результатам п. 9.2.5 для этого 
достаточно показать, что для У,„., выполняются соотно- 
шения (9.11), которые в данном случае имеют вид 


М (Уна — Уна) УТ = 0, М (Ун+1— У, +1) Хр = 0 
о Л 


_ Подставив в эти формулы выражение И 
из уравнения для ошибки (29) и приняв во внимание 
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независимость И, от У,, Х,, ..., Х„_» Получаем 


М ПИ а) УГ т асе В. „) М (У, и - ты 
М ни О, = (а — В,6 „) М (У, —У нр. 
р а 9 


Из этих равенств и второго соотношения (25) следует, 
что оценка 7, -, оптимальна в классе линейных функций 
‘величин У, Х.,..., А» если оценка У, оптимальна в 
классе линейных функций величин У, Х,, р а 
А так как оценка У, =аУ, таь- В, (Х,—8.7,—6,,) 
оптимальна в классе линейных функций величин У., Ху, .... 
то и при любом п оценка У,„., оптимальна в классе 
линейных функций величин У., Х.,..., Х,. | 
Более того, если все величины У, и величины У, и7, 


распределены нормально, тои величины У„.., У,, ны 

., Х„+1: При любом п имеют совместное нормальное 
распределение. В этом случае оценка У,., совпадает 
с регрессией У„., на У,, Х., ..., Хи: и, следовательно, 
оптимальна в классе всех функций величин У,,“Х.,... 
..., Аз: (абсолютно оптимальна). 

2.4. Фильтры Калмана. Изложенный метод линейного 
оценивания случайных величин, определяемых линейной 
моделью авторегрессии (23), разработан Калманом [33]. 
Поэтому ‘автоматические 
системы, реализующие вы- 
числение оценок, опреде- 
ляемых уравнением (28), 
обычно называются фильт- 
рами Калмана. 

Построение фильтра Калмана по данной модели фор- 
мирования последовательности {Х„} можно представить 
наглядной схемой, если воспользоваться обычным в тео- 
рии ‘управления способом изображения систем и их сое- 
динений, указывая линиями ` со стрелками. направление 
передачи сигналов. На рис. 35 прямоугольником .с. бук- 
вами МА показана модель авторегрессии (23) со стрел- 
ками, указывающими входной сигнал И, и выходной. 
сигнал У„.,. Из сравнения (28) с (23) видно, что та ‚же 
модель (23) будет давать на выходе последовательность 


оценок {У„}, если вместо {У} подать на ее вход после- 
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Рис. 35. 


з 


довательность {В,(Х,-—-ВУ,—6,„)!. Чтобы осуществить 


—^ 


это, следует выходной сигнал У„., подвести к входу по 
цепи обратной связи, содержащей устройство, осущест- 
вляющее умножение У’, на В,*). Перед входом в модель 


(23) величина 6,У„ должна вычитаться из соответствующей 
величины А„—В„, и разность должна умножаться на 
соответствующий коэффициент В„. Результат этого пост- 
роения показан на рис. 36. Кружком, разделенным на 


Рис. 365. 


квадранты, показан сумматор. Зачерненный нижний 


квадрант перед суммированием изменяет знак поступаю- 


щего в него сигнала (отрицательная обратная. связь). 
Прямоугольниками внизу и после сумматора показаны 
устройства, выполняющие умножение на матрицы 6, и В, 
соответственно (усилители с коэффициентами усиления 6, 
и В,, в общем случае матричными). Входным сигналом 
построенной таким путем системы служит последователь- 
ность случайных величин {Х,— 6}. 

Таким образом, фильтр Калмана получается из ис- 
ходной модели авторегрессии (23) замыканием ее отрица- 
тельной обратной связью, содержащей усилитель с коэф- 
фициентом усиления Б,, установкой после сумматора 
другого усилителя с коэффициентом усиления В, и по- 
дачей на вход полученной таким путем системы после- 
довательности случайных величин {Х„— 6} (рис. 386). 
Коэффициенты усиления 6, и В‚, очевидно, в общем 
случае будут: переменными, т.е. будут изменяться на 
каждом шаге работы модели. 


- 


*) Предполагается, что время прохождения сигнала по цепи 
обратной связи равно длительности одного шага (такта), так что 


к моменту появления на выходе величины Ун+1 По цепи обратной 
‘связи идет предыдущая величина У’. 
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РУ РОДИНЕ ТИР РЕН ЕРЧИ УЧЕТ УЗ. У рОМИНИИ 


Пример 2. Последовательность величин {У„} определяется 
моделью авторегрессии 


7 ыы 7 
У 2-|- 1 п! п+1 -- Яап п <= И п+1 р бов п: 


Построить фильтр Калмана для оценок величин У„ по результатам 
их наблюдения с ошибками, образующими последовательность неза- 
висимых случайных величин [Ч з. 

В данном случае Х„=У,„-— Иры. Для решения задачи необходимо 
сначала привести модель, формирующую последовательность {У„}, 
к модели авторегрессии первого порядка. По формулам п. 1.3 нахо- 
дим коэффициенты 91п, дэн И 031: 


91в=62, п-2==0, 921 =61, п-1-| 41, п- 191" = 1, п-1, 
зп — Роп-[- Чонд1п - а1п9 эп = бов али, п-1, 


После этого находим 


1в=Ул, 21, п+1 = бап- 61, п-1 Ил. 


Вводя векторы 


у | Во ры 
— В ЗЫ к р ] в 
п-+1 “п-т п оп б1, п-1 


получим разностное уравнение первого порядка 


0 [ 
2, |. | 2.» 


Уравнение, определяющее наблюдаемые величины, принимает вид 
Хв==[1 0] 2, Он. 

Коваризционная матрица К„ вектора №, выражается через ковариа- 

ционную матрицу Ни вектора У„ формулой (3.50): 


= В п-1 Т Т Т 
Ки = |. ВВ Нь 1, п-1 бл 1, п-1]. 


Так как № „= [1 0] Ил ИТ, и, =[0 ПУ ИГ, то в дан- 
Ном. и р, =[1 0], при == [0 1]. Ковариационная матрица вектора 
ПИ #7 ны ‚ играющая роль матрицы С,„ в общей теории, имеет 


в данном случае вид 
[6 р Ки 0 
и 6. 


Уравнение (28) в данном случае имеет вид 


аи ( | | Вы П о) о 


Ч п | Ч 1 


где на основании (27) 


ы- ГЛ (еж, 
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а Ю„ определяется уравнением (30), которое в данном случае имеет 


ВИД 
(ТО 1 О ап 
Вана (2. и, | Вы о], Кл р " -- Кв. 


Обратим внимание на то, что в данном случае фильтр Калмана 
дает не только оценки интересующих нас случайных величин У», 
но еще и оценки величин и =У+1— 61, п--1Ии. Это будёт всегда, 
когда исходная модель авторегрессии выше первого порядка. Однако 
в общем случае эти оценки бесполезны из-За наличия в них вели- 
чин Ик. Поэтому их обычно не используют (не выводят на выход- 
ные устройства ЭВМ). И лишь в частных случаях эти дополнитель- | 
ные оценки могут быть полезными. Так, например, если 6:„=0 при 
всех п, то (ин =Уизт и, следовательно, фильтр Калмана дает, кроме 


оценки У„, и оптимальный прогноз на шаг вперед величины Ун+1 
(заметим, что при этом 7. 2 Уп+1). 


2.5. Обновляющие последовательности. Обратим вни- 
мание на то, что модель (28) фактически использует для 


формирования оценок У, не саму последовательность 
наблюдаемых величин {Х,„!, а последовательность некор- 


релированных случайных величин {Х,„—В У, —В\*). 
Эта последовательность получается в результате вычита- 
ния из каждой величины Х„ ее оптимальной несмещен- 


ной линейной оценки Х„, полученной по результатам 
наблюдения предшествующих величин Х., ..., А„-1. При 
этом от каждой величины Х„ остается только та часть, ко- 
торая не может быть линейно выражена через ХГ,..., лы ыы 
и поэтому содержит новую информацию по сравнению 
с полученной ранее в результате наблюдения Ху,..., А-1. 

‚ Последовательность некоррелированных случайных 
величин, Полученная из данной последовательности пу- 
тем вычитания из каждой величины ее оптимальной 
линейной оценки по результатам наблюдения предшест- 
вующих величин, называется обновляющей последова- 
тельностью. Пользуясь этим понятием, можно сформули- 
ровать полученный результат совсем просто: последова- 


тельность оптимальных оценок {У,„} определяется той 
же линейной регрессионной моделью, что и последова- 


|| Из (24) следует, что „=Х,-— 6, 7, —6=8, (У,— Я) + 
Ара Отсюда, принимая во внимание, что У„—Я, и ИУ, не кор- 
релированы с Я,, Х\, ..., Хиелт, заключаем, что каждая величина 
№, не коррелирована с У р ПН следовательно, и с ур 


при р=< п, поскольку р является линейной функцией У, А+ 
., Хр-1. Следовательно, каждая величина №, не коррелирована 
с №} при р < п. 
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тельность {У„}, с заменой последовательности {У„} обнов- 
ляющей последовательностью {Х,—6,У,„—06}, каждый 
член которой должен быть умножен на соответствующий 
коэффициент В,. = 

2.6. Приближенное решение нелинейных задач оцени- 
вания. Метод п. 2.[| и п. 2.2 дает точное решение задачи 


нахождения условно оптимальных оценок У, векторов У», 


минимизирующих средний квадрат ошибки М|У,„—У, |? 
при условии, что они удовлетворяют разностному урав- 
нению данного вида:Однако полученное точное решение 


задач нелинейного оценивания требует весьма громозд- 
ких вычислений, связанных с определением на каждом 
шаге характеристической функции &,. Поэтому большое 
практическое значение имеет разработка приближенных 
методов: вычисления характеристических функций д, (Л, и) 
и соответствующих плотностей 


©.) =) ь 
з ^ г ЯР . Т^ 
р, (у, = лу \ \ ети д, (1, р) Аа 
- © -9® 
(т — размерность векторов У, и У,). 

Для приближенного определения характеристических 
функций &, и соответствующих плотностей |, можно 
предложить следующий прием: заменить неизвестную 
функцию ©, (^, и) некоторой вполне определенной функ- 
цией ©(Л, ц, 0,), зависящей от конечного числа неиз- 
вестных параметров, образующих вектор о„, и вывести 
из уравнения (12) соответствующие приближенные рекур- 
рентные формулы (разностные уравнения), определяю- 


щие последовательность значений неизвестных парамет- 
* 
ров {0„} *)- 

Заменив 2, (^, и) функцией в (^, п, с.) _и плотность 
Рози у) соответствующей плотностью { (и, у, 0-1), заме- 
ним формулу (12) приближенной формулой 

[9] [в] [2] 


8 (^, в, с„)= \ \ \ ехр {Ат _, (и, у) -- 


-х -х-х 


-Н А" [б,-1б.-1 (И, @и-1 (и, 9)) у,-:} 
Х Р,-1 (0) (у, 9, 0,1) Чо ау ау, -1. 
*) Эта идея принадлежит В. И. Демуху, который положил се 
в основу разработанного им приближенного метода анализа точности 


нелинейных систем («Автоматика и телемеханика» 1565, №6, 
с, 1021—1025). 
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Отсюда дифференцированием по А и ц и приравниванием 
Л и и нулю можно получить приближенные формулы 


для моментов случайного вектора [УГ У": 


ыы д + ЧЕт И +... [т 
п) _ БИ РЕНИ ЕЕ 
А, ъе у А т, п, #255 Г тг. Е (И) У д (ит) п 9 (^,, Ц, с. | 


где индексом О внизу отмечено значение величины в 
квадратных скобках при Л^=и=0. Учитывая, что эти 
моменты зависят от 0,, напишем полученные прибли- 
женные формулы для моментов в виде 


(п) 
СЕ, ...у Ат, п, ре [п (о) — 


вы: В: де +. +Ат+Ы +... +1т 
азс санойя «кро, 9+ 


—х -х -х 


дат [9-11 (9, Опа (у, от, || х 


хр,-, (©) Ё(у, 9, ,-,) Фауау. — (31) 


Взяв столько таких уравнений, сколько координат имеют 
векторы о, И 0,-:, получим систему разностных урав- 
нений для приближенного определения последователь- 
ности векторов {0„}. 

В частном случае, когда о, представляет собой сово- 


купность моментов вектора [УЛ Ул |Т до порядка г вклю- 
чительно, о, =0”), уравнения (31) дают рекуррентные 
формулы для приближенного вычисления моментов: 


) к+...-Н1[т 
(п) РН 
я с | х 
Вени В, ен .- ВЫХ ‚-0 (бы) 


—_х -х —м 


Х ехр {Тон _, (у, 0) т [8,-16,-1 (У, @,-1 (у, 0)) 


ть Ры-1 (о) Ё(у, у, а^*-2) доауау 


а ОТ а 
Е... НЕ НЫ ны о 


Пример 3. Заменив в уравнении для @„ (А, и) примера 1 


плотность [ил (и, 1) НО. плотностью, определяемой первыми 
| _1 п-1 (1—1 (п—1) (1—1 

и вторыми моментами се, и”, 0 ам ›, ма ›, получим 
изложенным методом пять рекуррентных формул, преДеляюх 


: п (11 (п п (п (п- 
приближенно моменты 040, @5р, 050), а, @02› по известным о 


—1 п-1 1—1 
ОТТО, пт, аи", а 7. Эти формулы можно вывести а 
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тельно проще, взяв все первые и вторые производные по Лиц 
выражения для ак (^, и), положив после этого А =пи=0 и выразив 
в полученных формулах все моменты выше второго порядка через 
первые и вторые моменты по формулам для нормального распреде- 


ления (п. 4.5.3). Все моменты в формулах для их значе- 
ь п п п 
ний б, и 7„ выразятся при этом через оо’, обр’, ао», ол’, ода, 


так что необходимость определять эти моменты по _формулам при- 
мера | отпадает. Момент второго порядка ошибки 7—У, В ЭТОМ 
случае те формулой 


К, = —ои!. 


2.7. Оценивание неизвестных параметров в разност- 
ных уравнениях. Метод п.2.1 и п. 2.2 дает возможность 
оценивать случайные величины, определяемые разност- 
ным уравнением, и в том случае, когда функции ©, и 
©, В (8) и (9) зависят от конечного числа неизвестных 
параметров (конечномерного векторного параметра). При 
этом оказывается возможным попутно оценивать ‘и неиз- 
вестные параметры. 

Предположим, что функции ®, и, в (8) и (9) (функ- 
ции ф„, ф,, фи и 1, в (16) и (17) в частном случае п. 2.2) 
зависят от неизвестного конечномерного векторного пара- 
метра 0. В этом случае уравнение (8) и формулу (9) 
‘можно написать в виде 


У: =, (У„, 6, У,),  Х„ = (У, 6, И,). 


Поставим задачу найти оптимальные оценки У, и 0, 
вектора У, и параметра 9 на каждом шаге, определяе- 
мые разностными уравнениями вида (10) по результатам 
наблюдения последовательности векторов {Х„}, т.е. задачу 
одновременного оценивания векторов У, и неизвестного 
‘параметра 0. 

Подобные задачи обычно решаются. сведением ИХ 
к задаче п. 2.1 с полностью известными функциями ©, 
и @,. Для этого заменяют неизвестный параметр 6 после- 
довательностью случайных векторов {©9,}, 9,=6 (распре- 
деление каждого. из этих векторов сосредоточено в одной 
точке 9). Очевидно, что введенная таким путем последо- 
вательность векторов {©9,} удовлетворяет разностному 
уравнению ©,.,=0О,. В результате уравнение формиро- 
вания последовательности векторов {У„} заменится си- 
стемой разностных уравнений 


У 1=0. (У, 9, У.), 09,+:=60,, | 
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а формула, определяющая последовательноств наблюдае- 
мых величин {Х„}, заменится формулой 


Х, = (Ой У 9, У,). 


Полученные уравнения формирования последовательностей 
векторов {У„} и {©9,! можно записать в виде одного уравне- 
НИЯ и (8) для последовательности составных векторов 
| 1, \,2.=[У7 91 |Т, с полностью известными функциями ®,, 
а формула для Х, представляет собой о (9) с за- 
меной вектора У, составным вектором `2,„=[УГ ©; | 
с полностью известной функцией ви. 

Таким образом, задача одновременного оценивания 
величин, определяемых разностным уравнением, и неиз- 
вестных параметров в этом уравнении сводится к задаче, 
решенной в п. 2.1, путем ‚введения составных векторов, 
каждый из которых включает все координаты соответ- 
ствующего вектора У,, определяемого разностным урав- 
нением, и все неизвестные параметры в этом уравнении. 

Естественно, разностное уравнение для составных 
векторов оценок при этом будет иметь вид 


„Иа 91,7 = 0, („, 0,, Х„) Е №. 


ее запишется уравнение для оценок в част- 
ном случае п. 2,2: 


[Ут бт = Е, (7, 9,) + Выть (Р„, 0.) ХТ, 


Если требуется оценивать не все координаты векто- 
ров У„, а только часть ‘их, то в уравнении для оценок 
следует взять функции 6, (Ё, и \|, в частном случае п. 2.2), 
зависящие только от соответствующей части координат 
вектора У, (очевидно, что при этом необходимо оцени- 
вать все неизвестные параметры). В частности, при же- 
лании оценивать только неизвестные параметры в раз- 
ностном уравнении функции 6, (, и \, в частном слу- 


чае п. 2.2) следует взять не зависящими от ет 


Пример 4. Последовательность скалярных случайных вели- 
чин {У„} определяется уравнением. 


Ув+1== 9У„-- Ув, 


где. 9 — неизвестный параметр, {У„} — последовательность независи- 
мых случайных величин. Найти оптимальные линейные оценки 


9„, ’„ параметра 0 и величин У„, определяемые уравнением 


[Ри+1 9%.+117 — бп [7 9,7 Вх п Уд». 
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по результатам наблюдения величин Хи=У,-- Ор, где {И„} — после- 
довательность независимых случайных ‘величин, независимая от {Ин}. 

Оптимальные значения @„, Ви и \„ в этом случае определяются 
системой линейных алгебраических уравнений (19) при 


и МУ,@,?7’„—Му,@,МР, Му,е,6,„—му,е„мб, 
М9,7,„— М@,М?, Ме,0,—ме,ме6, 
х? = [МУ„@,— МУ,@,МУ, Му„9„— МУ„Меыт, 
и | МРи-— (МУ) МР, 6,— МР,„мб, 
М?,6,„—МУ,мб, м6?—(мд,) 


РТ [МУ7,—МУ,М?, Му,6,—мУ, МФ, 
из’ — МУв я (МУ„)? -- Ст, 


где С„— дисперсия величины И„. Оптимальное значение „ опреде- 
ляется формулой (20): 


„= [Му,@, М@,17— а [МУ И 


ии, (22) для характеристической функции величин И», 
9, У., 0, имеет вид 
| Т 
8п (А, М) = Яи-1 (А) 1—1 (Вп-10) Хх 
[* |) [2 < 
Хх} \ |} кр уе-- ,9-Е лат ана" 67 
—х -х -х -® и 
-Н Ви-зи-Е Ут-1)} 1-1 (9, 0, у’, 0’) ауад ау’ 49’, 
где А =[^А: Л»|Т, и= [в иэ1Т, Ант (А) и 1 ея 
‚ ские функции ан У -1ти Ор —1 соответственно, а в-1 (у, 9, и’, 0’)— 
плотность случайного " о 19-1 7-19-17 | 


ей (ил. 9-+ наи’ +и›0”) х 


| Ц“ 1 
[в -1 (у, 9, у ) 0 ) = 164 
—® -® -х® -х 
Х 21-1 (4, ^,, ша, из) № а ара ар». 


Моменты Ве ИиВ У„, 9», Ув, 91, входящие в полученные 
формулы для хр и 7, можно вычислить, как и в примере 1, или 
дифференцированием характеристической функции бп, ИЛИ интегри- | 
рованием, определив предварительно плотность {;, (у, 0, и, 0'). 

Для приближенного решения задачи методом п. 2.6 можно про- 
дифференцировать уравнение для &и(А1; ^э, ра, Из) по Ли, Аз, мл, 2 
и по всем парам этих переменных, положить после этого Ал =Аа = 
= Ц: =|Ц›=0 и заменить все моменты выше второго порядка их 
выражениями через моменты первого и второго порядков по фор- 
мулам п. 4.5.3 для нормального распределения. Тогда получим 
рекуррентные формулы для определения моментов первого и вто- 
рого порядков вектора [У„@„ У„@„/Т. Через эти моменты выразятся 
и все моменты в формулах для „® и Т»› а также матрица. А» вто-. 
рых моментов ошибки 7„—У». 
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Пример 5. В условиях примера 4 найти линейную оценку 
одного параметра 0, ‚определяемую уравнением 
0+1 == 00-Е ВиХи- У. 
В этом случае 
хи? = [Му,@,в,— му,е,мб, ме,б,—ме,„мв,11, 
хо = @Т = МУ, 0,—МУ.Мб, хт=мб,— (мб, 


ах) и х5 имеют те же значения, что и в предыдущем примере. 


Оптимальное значение ‘у„ определяется формулой 
„=М@,—о„М@,„—В„МУ»„. 
Уравнение (22) для характеристической функции величин У», 
9,„, 9; имеет вид 
бп (№, В) = -1 (^1) 1-1 (Ви-1в)Х 


© © © 


х \ \ \ еж {ПИ у0-- 2.0 -- щ (а, 19’ - 


-х -х -® | 
-- Ви -зи- У. 1)} 1-1 (И, 9, 60’) ди 48 49’, 
где о 
с ох ® © 


Гоа = | П Йежр{-— би ^0- 8) х 


-х -© -© 


х Эп-=1 (Л, Ао, и) а а№ аи. 


Все сказанное в конце примера 4 относительно приближенного 
определения @„(^, и) полностью относится и к данному случаю. 


Метод п. 2.1 и п. 2.2 позволяет не только оценивать 
неизвестные параметры в системах, описываемых извест- 
ными разностными уравнениями, но и строить статисти- 
ческие модели систем, не поддающихся математическому 
описанию с помощью каких-либо уравнений. 

Отобрав существенные переменные, определяющие 
состояние системы в каждый данный момент, и связав 
их разностным уравнением подходящей формы, содер- 
жащим достаточное число неизвестных параметров, можно 
по результатам наблюдения работы системы (производи- 
мых в ней измерений) оценить изложенным в п. 2.1 и 
_ П. 2.2 методом все неизвестные параметры и таким путем 
получить статистическую модель системы, описываемую 
разностным уравнением. Взяв различные разностные 
уравнения, можно параллельно оценивать неизвестные 
параметры в них, сравнивать соответствующие модели 
по средним Квадратам ошибок оценок параметров и вы- 
брать наиболее подходящую из них. 
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Таким образом, изложенный здесь метод оценивания. 
величин, определяемых разностными уравнениями, и 
неизвестных параметров в них имеет широкое поле при- 
ложений. 


$ 3. Факторные модели 


3.1. Задачи факторного анализа. Во многих зада- 
чах практики приходится изучать случайные векторы 
большой размерности. При этом часто оказывается, что 
распределение случайного вектора сосредоточено вблизи 
некоторого подпространства значительно меньшей раз- 
мерности (эллипсоид рассеивания сплющен по неко- 
торым направлениям настолько, что его. размерами 
в этих направлениях можно пренебречь). При этих 
условиях случайный вектор можно с достаточной для 
практики точностью представить как результат  линей- 
ного преобразования случайного вектора меньшей раз- 
мерности. В связи с этим важной задачей статистики 
является задача нахождения приближенного линейного 
представления случайного вектора через вектор меньшей 
размерности по результатам опытов. Характерная. осо- 
бенность этой задачи. состоит в том, что вектор меньшей 
размерности, через который надо выразить наблюдаемый 
случайный вектор, не наблюдается и о нем ничего не 
известно. 

Ясно, что решение вопроса о возможности точного 
представления случайного вектора через вектор мень- 
шей размерности по экспериментальным данным прин- 
ципиально невозможно. Можно лишь пытаться построить 
соответствующую модель и определить, согласуется ли 
гипотеза о том, что распределение сосредоточено на неко- 
тором подпространстве, с экспериментальными данными. 

Предположим, что в результате п опытов наблюдается 
т-мерный случайный вектор У, представляющий собой 
сумму интересующего нас случайного вектора Х и ошибки 
измерения 2. Допустив, что вектор Х можно предста- 
вить как линейную функцию г-мерного вектора У= 


=[У,...И,|7, г < т, можем написать 
ИЕ их, (32) 
р=1 


Таким образом, мы приходим к задаче построения мо- 
дели (32) по результатам наблюдения вектора У. Методы 
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решения этой задачи составляют т содержание факторного 
анализа |[50, 118]. 

Так как любой случайный вектор можно привести 
к вектору с некоррелированными координатами, то без 
потери общности можно считать величины У,,...,И, 
в (32) некоррелированными. | 

Ошибки измерений’ координат случайного вектора 
обычно можно считать некоррелированными как. между 
собой, так и с измеряемым вектором. В этом случае. 
вектор Д не коррелирован с величинами И, ...,И, и 
его ковариационная матрица диагональна. 

Ясно, что решение задачи представления наблюдае- 
мого вектора У формулой (32) неоднозначно. Любое 
линейное преобразование вектора У, дающее в резуль- 
тате вектор той же размерности г, оставляет структуру 
модели (32) неизменной. В частности, путем умножения 
величин И!,..., И, на соответствующие числа и векто- 
ров х.,....х, на обратные числа можно сделать диспер- 
сии величин И':, ..., И, равными наперед заданным чис- 
лам, в частности, все их сделать равными 1. 

Таким образом, будем предполагать, что выполнены 
следующие условия: 

1) случайные величины И,, ..., у, в (32) не коррели- 
рованы; | 

2) ошибка измерений Д имеет нулевое математиче- 
ское ожидание, не коррелирована с величинами И,, ...,И 
и ее ковариационная матрица диагональна; 

3) дисперсии величин У!,...,И, равны 1. 

Модель наблюдаемого случайного вектора У, опре- 
деляемая формулой (32) при выполнении условий 1)— 3), 
называется факторной моделью. Случайные величины 
у,,...,И: называются факторами *). Координаты век- 
тора х, называются нагрузками соответствующих коор- 
динат вектора У (или вектора Х) на р-й фактор 
(р=],...,Г). Дисперсии координат вектора Х, опре- 
деляемого суммой в (32), называются факторными дис- 
персиями. 

Задача. построения факторной модели (32), по суще- 
ству, равноценна задаче нахождения канонического раз- 
ложения вектора Х ($ 3.4} по результатам наблюдения 
вектора У=Х--2 (т.е. по результатам наблюдения 


г’ 


*) Термин фактор в факторном анализе и в дисперсионном 
анализе имеет разный смысл, 
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вектора Х с ошибками). Однако непосредственно при-_ 
менить методы $ 3.4 для решения-этой задачи нельзя, 
так как для этого ‘необходимо знать ковариационную 
матрицу вектора Х. В данном же случае можно полу- 
чить по результатам опытов только оценку ковариаци- 
онной матрицы вектора У. Чтобы найти подходы к ре- 
шению поставленной задачи, представим ковариационную 
матрицу К, вектора Х каноническим разложением (3.75). 
Тогда ковариационная матрица вектора У на основа- 
нии (32) и условий 1)—3) выразится формулой 


=К,-НК,= > а. +К.. | (3) 
ры 


В силу диагональности матрицы К, все недиагональные 
элементы матрицы К, совпадают с соответствующими 
элементами матрицы К,. Поэтому найденные по резуль- 
татам опытов оценки недиагональных элементов матрицы 
К, можно принять за оценки соответствующих элементов 
матрицы Кх. Диагональные же элементы матрицы К, — 
факторные дисперсии — остаются неизвестными. 

Таким образом, задача построения факторной мо- 
дели. (32) сводится к нахождению канонического разло- 
жения вектора Х при неизвестных диагональных эле- 
ментах его ковариационной матрицы К... 

Чтобы преодолеть возникшее затруднение, можно 
предложить два подхода. Первый подход состоит в том, 
что вместо канонического разложения вектора Х ищут 
каноническое разложение вектора У. Определив первые г 
членов этого разложения, все оставшиеся тр—г.членов 
объединяют в ошибку 1, пренебрегая коррелирован- 
ностью координат полученного таким образом вектора 2. 
Второй прием состоит в замене неизвестных факторных 
дисперсий произвольными положительными числами и 
в сочетании метода канонических разложений с методом 
итераций. 

3.2. Метод главных компонент. На первом подходе 
основан метод главных компонент, использующий раз- 
ложение наблюдаемого случайного вектора по собствен- 
ным векторам. В примере 7.13 мы видели, что оценками 
максимума правдоподобия собственных значений и собст- 
венных векторов служат собственные значения и собст- 
венные векторы оценки максимума правдоподобия кова- 
риационной матрицы. Если найденные оценки собствен- 
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ных значений расположить в порядке невозрастания и 
при этом окажется, что сумма тр—г последних собст- 
венных значений достаточно мала по сравнению с суммой 
всех их, то соответствующие главные компоненты можно 
отнести за счет ошибок измерений, т.е. включить их 
в вектор 2. При этом разложение (3.66) случайного. 
вектора У по собственным векторам дает искомую фак- 


торную модель (32), если положить У,=И»У^,, 
оо 


Пример 6. По экспериментальным данным получена оценка 
ковариационной матрицы К,, приведенная в примере 3.14. Этой 
оценке соответствуют найденные в примере 3.14 собственные значе- 
ния: А1=6,0500, ^› =0,9002, /.=0,7134, А. =0,2603, А, =0,0560. Эти 
собственные значения можно принять за оценки соответствующих 
собственных значений ковариационной матрицы случайного вектора У. 

Так как сумма двух последних собственных значений Л.-РА; 
составляет меньше 4% от суммы всех собственных значений, то 
можно сохранить в разложении только первые три главные компо- 
ненты. В результате получим трехфакторную модель 


У! =1,354", —0,086У,—0,013И.- 21, 
У, =1,310У,—0,234/.—0,304У3-- 2,, 
У, =1,325И, —0,035И,-—0,147И;-- 23, 
у, =0,8407, -- 0,009" ›-—- 0,764/.-- 2., 
У, =0,502И,-- 0,913". —0,093И; -- 2ь. 


Метод главных компонент, как и всякий метод, ос- 
нованный на определении собственных значений и соб- 
ственных векторов, требует сложных вычислений и 
поэтому может практически применяться только на ЭВМ. 
°Э Другие методы факторного анализа основаны на дру- 
гих канонических разложениях. Все они различаются, 
по существу, только выбором векторов &.,’..., &, в общем 
алгоритме п. 3.4.3. 

3.3. Центроидный метод. Одним из часто применяе- 
мых методов факторного анализа является центроидный 
метод [50, 118]. Этод метод основан на следующем выборе 
каждого очередного вектора &,. Сначала берут вектор д,, 
линейно независимый от предыдущих векторов ди, ...,@;-1» 
все координаты которого равны -| или —1 и опреде- 
ляются так, чтобы число отрицательных слагаемых в 
квадратичной форме 0: 5КР4» где на основании (3.73) и 
условия 3) 

$—1 


АА КР =К,— > р ($=2, а (34) 
р=у ° | 
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было минимальным. Затем определяют вектор 9, фор: 
мулой 


ИЕ. ИИ 
8; = Уке- (35) 
95 Кх 95 
Подставив это о в последние две формулы (3. 72), 
будем иметь Р,=в1К®в,=1 и 
А | 
И. у А  (3=1,...,Г). (36) 
9; Кх 9; 
Вычисление координат векторов х.,...,х, по этой фор- 
муле сводится к суммированию элементов соответствую- 
щих столбцов матриц К?=КА,, ^®,...,К® с измене- 


нием знаков некоторых из них и делению полученных 
сумм на корень квадратный из суммы всех элементов 
соответствующей матрицы К?’ с теми же изменениями 
знаков их элементов. Вследствие этого центроидный ме- 
тод часто называют методом простого суммирования. 
Непосредственное применение формулы (36), как уже 
было сказано, невозможно из-за неизвестности диагональ- 
ных элементов матрицы .К,„. Применяя первый способ 
преодоления этого затруднения, заменяют К, в (36) най- 


денной по результатам опытов оценкой К, матрицы К,. 
Определив первые г членов канонического разложения век- 
тора У, остальные члены включают в ошибку 2, пренебрегая 
корреляцией между координатами полученного таким 
путем вектора 2. При втором способе за оценки фактор- 
ных дисперсий обычно принимают в первом приближении 
наибольшие модули элементов соответствующих строк и 
столбцов и применяют метод итераций. Выполнив вычис- 
ления по формуле. (36) в первом приближении, опреде- 
ляют диагональные элементы матрицы К. во втором при- 
‚ближении как суммы квадратов соответствующих коор- 
’динат векторов хл...,х,. Повторив вычисления по фор- 
муле (36), находят векторы х1,...,х, во втором приближении 
и т. д. Процесс последовательных приближений закан- 
чивается, когда очередное приближение с достаточной 
точностью совпадет с предыдущим. | | 
3.4. Вращение факторов. Учитывая, что факторы по 
определению должны иметь единичные дисперсии, при- 
ходим к выводу, что факторы определены с точностью 
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До произвольного ортогонального преобразования, 1. в. 
произвольного вращения. Действительно, пусть Я = АУ. 
Тогда на основании (3.50) К„= АК,АТ= АГАТ= ААТ. 
Отсюда ‘видно, что К.==/ тогда и только тогда, когда 
АТ = А-*, т. е. когда матрица А ортогональна. Произ- 
вольное ортогональное преобразование факторов приводит 
к новой системе факторов. Этим обычно пользуются для 
того, чтабы упростить интерпретацию результатов фак- 
торного анализа. Определив факторы, производят их вра- 
щение так, чтобы определенные координаты. вектора У 
имели наибольшие нагрузки на один фактор и близкие 
к нулевым на другие факторы. 

Для первоначального определения факторов можно 
применять любой метод факторного анализа, в частности 
метод главных компонент *). 

Ясно, что в преобразовании факторев путем враще- 
ния и в приведении их к «удобному» для анализа виду 
много субъективного. Поэтому разные исследователи могут 
интерпретировать одни и те же экспериментальные дан- 
ные различно. В погоне за удобной для анализа формой 
факторов в приложениях, особенно в области психоло- 
гии, часто преобразуют факторы так, что в итоге 
получаются коррелированные факторы. 

При построении факторных моделей часто нормируют 
координаты наблюдаемого вектора У, разделив их на 
оценки их средних квадратических отклонений. При этом 
ковариационная матрица К, наблюдаемого’ вектора У 
заменяется его корреляционной матрицей К^,. 


Пример 7 **). Даны результаты 23 наблюдений 9-мерного слу- 
чайного вектора (см. табл. на стр. 427). 

Построить факторную модель, учитывая только те главные жом- 
поненты, которым соответствует 80% суммы всех собственных значе- 
ний корреляционной матрицы. 

В результате вычислений на ЭВМ по программе КАСТО полу- 
чены первые четыре собственных значения корреляционной матрицы * 


*) Метод факторного анализа, основанный на первоначальном 
определении факторов методом главных компонент, реализован в 
программе ЕАСТО, которая использует для различных этапов фак- 
торного анализа стандартные подпрограммы СОКВЕ (для вычисле- 
ния выборочных средних, вторых моментов и ‘коэффициентов корре-. 
ляции), Е1СЕМ (для определения собственных значений и собственных 
векторов), ТКАСЕ (для отбрасывания малых собственных значений), 
ГОАО (для вычисления факторных нагрузок). и УАВКМХ (для опти- 
и в известном смысле —варимаксного — вращения факторов) 
**) Этот пример заимствован из [54]. 
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наблюдаемого вектора: А ,:=2,94989, А. =1,64368, Л. =1,55515 и 
Ал == 1,06579, сумма которых составляет 0,8016] отсуммы всех девяти 
собственных значений (которая, очевидно, равна следу корреляцион- 
ной матрицы, т. е. 9), и соответствующая четырехфакторная модель: 


у, =9,30435--2,70412 (0, 05498; --0,07183У;—0,05578У,-- 
--0,85017У.)- 21, 
у, =12 (608701 4,59978 (0,293297, —0,39653И, —0,3558 1/3 -—- 
4-0,60550.)- 2, 
у,=23,00000 --5,33427 (0,05114У, —0,82494у, --0;15068И. = 
--0,32984".)- 25, 
у, —18.00000-- 8.33803 С,74ОНУ, —0,41401У,- 0,2450 | 
4-0,139727)--2%, 
У, = 12,86957-|- 3,13781 (—0,09091И1 -- 0,80662И., -1-0, И 
0,3928.) +- 25, 
у. =34,82608-1-9,29149 (—0;68286, —0,21579у, —0,4498З, — 
— 0.20803.) + 2., 


у, = 54,00000-| 14,87826 (0,86997У/ --0,182997, —0,34918У, -- 
--0,08830".) -—2., 


Уз = 19,39130-- 5,56563 (0.036027; —0,05500у,-- 0,91376У, — 
_ —0,15962И,)-1 2., 


_ У, =25,13043-| 6,09249 (0,80532У, —0,32759;-- 0,0994, — 
—0,023807.)-- 2.. 
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Первые слагаемые здесь представляют собой выборочные средние, 
а множители перед скобками — выборочные средние квадратические 
отклонения соответствующих координат вектора У. 


3.5. Применение метода п. 3.4.5. Чтобы избежать 
вращения факторов и сразу получить факторную модель 
с большим числом нулевых и близких к нулевым нагрузок 
на факторы, можно применить для нахождения каноничес-_ 
кого разложения вектора Х метод п. 3.4.5. При этом, имея в 
виду, что порядок нумерации координат векторов может 
быть произвольным, можно по ходу вычислений устанавли- 
вать новую нумерацию этих координат с целью получить 
достаточно хорошую модель (по возможности с меньшей 
суммарной относительной величиной малых нагрузок). 

Чтобы применить метод п. 3.4.5 для построения фак- 
торной модели, выберем в качестве векторов 4.,.. „9, 
единичные векторы первых г осей координат 


.=[0...010...0]7 ‚ бе И 


(буква $ над единицей показывает, что она стоит на 5-м 


месте). При таком выборе векторов 4,,...,4, формула (36) 
дает 
в 
р 
р — Ур (р=1, оеоу т), 
11 - | ь 
=... =Х,, $-1==0, | (37) 
о __ 52-Х 51 р... —Х5-1, 55-1, р | 
вр 
к а 


(р=$, ...,Т; $=2,..., Г), 


ы 
где №» (р, а=1,..., т) — элементы матрицы К,,. 

и формулы (37) с соответствующим изме- 
нением нумерации координат векторов, мы и получим 
факторную модель с наибольшим числом нулевых и ма- 
лых факторных ВавруНОю не прибегая к вращению фак- 
торов. 

Чтобы найти критерий для установления новой нуме- 
рации координат векторов, заметим, что доля первого 
фактора У, в дисперсии р-й координаты вектора Х равна 
отношению х1р/*,„,. Поэтому естественно выбрать первую 
координату вектора Х, а следовательно, и первый фак- 
тор У, так, чтобы суммарная доля первого фактора У, 
в дисперсиях координат Х,,..., А» вектора Х была ми- 


428 


нимальной. Тогда получаем условие 


Принимая по очереди все координаты вектора Х за пер- 
вую и вычисляя каждый раз.‘величину &,, выберем в ка- 
честве первой координаты ту, для которой в, имеет наи- 
меньшее значение. Рассуждая так же, мы примем за 5-ю 
ту из оставшихся т—5--1 координат р Х, для 
которой величина 


т 


‚= >, я (5=2,..../) (39) 


.2 
р=$+1 Мрр-` Яр +++ 7 5-1 р 


‚ имеет наименьшее значение. 

При выполнении вычислений по формулам (37) при- 
ходится, как и при применении других методов фактор- 
ного анализа, или заменять А, матрицей К,, или при- 
менять метод итераций, задавая в первом приближении 
какие-нибудь грубо приближенные оценки диагональных. 
элементов матрицы К „. 

Этот метод построения факторной модели (факторного 
анализа) представляет собой вариант метода треугольной 
декомпозиции [118]. Это название объясняется тем, что 
при этом методе в случае г=т ковариационная матри- 
ца А, представляется в виде произведения треугольной 
матрицы х, столбцами которой о. векторы Ху Ха 
на ее транспонированную: К, ==хх/ 

3.6. Оценивание факторов. Во многих случаях, кроме 
построения факторной модели, необходимо также найти 
оценки факторов У., ...,И, в каждом из произведенных 
опытов. Для этого достаточно воспользоваться формулой 
(3.72). Подставив в нее выражение (35) вектора` &., по- 
лучим рекуррентные формулы | 


р 
И атК 91 
$1 
(хил) 
СУ, = Е (=, ...,Г). 
| а1К?’9х 
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Подставив сюда выражение Х°=У-2—т,=У-2— ту. 
и заменив неизвестное т, его оценкой У, получим 


. у, с 9 (ИУ 2) 


со 
Уч К х91 
$—1 | 
т в 
" (у У» уже?) 
=— а 
У атк$ча, 95 Кх 95 
В результате опытов получаются реализации У,,...,У, 
величины У и вычисляется их выборочное среднее У и 
оценки векторов х,,...,х,. Соответствующие же реали- 


зации вектора ошибки 2 остаются неизвестными. Чтобы 
получить оценки факторов в`каждом из произведенных 
опытов, целесообразно воспользоваться регрессией фак- 
торов У!,...,И, на У, т. е. принять за оценки факторов 
У,,...,И, их условные математические ожидания отно- 
сительно наблюдаемого вектора У. В результате, имея в 
виду, что т,=0, получим | 


ВЕ г (У—У) 
м тнны 
У а7 К, К х491 


$— . 
95 "(у У — У ка 
р ( 
" И Ка 


Другой метод получения линейной регрессии факторов 
на наблюдаемый вектор У основан на применении урав- 
нений (9.14) и (9.15), которые в данном случае имеют 
ВИД 


(40) 


&К, А. 


где К,,—взаимная ковариационная матрица случайных 
векторов У = [У,...Г,|Т и У. Оценка матрицы К, нахо- 
дится непосредственно по экспериментальным данным. 
Остается найти оценку матрицы К.,. На основании (32) 


Ки, = МУУТ= МУ (т? -- Утхт | 21) = МУУТхТ = Кут = т, 


а=т,— вт, = — вт,, (41) 


оу» 


где через х обозначена матрица, столбцами которой слу- 
жат векторы х,,...,х,. Таким образом, уравнения (41) 
принимают вид | 


| &Ку=хГ, @=— &т,. 
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Решив эти уравнения и заменив 1, ео оценкой 7, пб- 


лучим &=х'Ку’, а=— хТКИУ. с этого находим ли- 
нейную регрессию вектора | на у 


Г =вУ + а=хТК/ (У—У). 
Отсюда получаем оценки факторов 
Г, =хТ К: 1 (У —У) о (42) 


Формулы (40) и (42) ‘дают различные оценки факто- 
ров. Это различие объясняется тем, что при их выводе 
используются различные оценки регрессии факторов на 
наблюдаемый вектор. 


$ 4. Модели распознавания 


4.1. Математическая постановка задач распознавания. 
Как уже было сказано в п. 9.1.1, большое значение 
для практики имеет моделирование процессов распозна- 
вания. Задача распознавания состоит в том, что в ре- 
зультате наблюдения некоторого объекта из множества 
объектов, принадлежащих разным классам, определяется, 
какому из этих классов принадлежит наблюдаемый объект 
(например, по начертанию рукописной буквы определяет- 
ся, какая буква написана; по наблюдаемому электро- 
магнитному или звуковому сигналу определяется, каким 
источником порожден этот сигнал; по данным геологи- 
ческой разведки определяется, какие полезные ископае- . 
мые имеются в районе разведки, и т. п..). Ввиду боль- . 
шого разнообразия наблюдаемых и подлежащих распо- 
знаванию объектов их обычно объединяют абстрактным 
термином образ и товорят о распознавании образов. Такая 
терминология объясняется тем, что первыми задачами 
автоматического распознавания были задачи распозна- 
вания изображений. 

Для построения модели процесса распознавания’ не- 
обходимо прежде всего наблюдаемые образы охарактеризо-. 
вать некоторыми величинами, которые можно ввести в рас- 
познавающую систему, например в ЭВМ. Эти величины 
могут иметь разные значения для различных образов, 
даже принадлежащих одному и тому же классу. Выбор 
числа и характера велйичин— информативных признаков, — 
определяющих образы, представляет собой первый этап 
построения модели распознавания. Этот вопрос должен 
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решаться конкретно для каждой задачи распознавания 
с учетом возможностей производить необходимые изме- 
рения. И лишь после этого можно дать математическую 
постановку данной задачи распознавания. 


Дадим теперь общую математическую постановку 
задачи распознавания, которая может служить ОСНОВОЙ 
для построения моделей распознавания. Пусть х— сово- 
купность всех величин — признаков, — характеризующих 
подлежащие распознаванию образы (в том чиелеи каче- 
ственных признаков, принимающих только значения 0 
и 1), у-номер класса образов. Задача состоит в том, 
чтобы по наблюденному значению х определить значе- 
ние величины у. | | 


В большей части задач практики наблюдаемые вели- 
чины случайны и имеют различные распределения для. 
разных классов образов, т. е. для разных значений у. 
Случайный характер наблюдаемых величин приводит к 
тому, что одно и то же значение х может наблюдаться 
при разных значениях у. Вследствие этого задача рас- 
познавания принципиально не может быть решена абсо- 
лютно точно и становится статистической. В таких слу- 
чаях задача распознавания сводится к нахождению оценки 


у параметра у по наблюденному значению х случайной 
величины Х. 
Модель процесса ‘распознавания представляет собой 


зависимость оценки ий _номера класса образов у от зна- 
чения х наблюдаемойлучайной величины Х. Построение 
модели распознавания сводится к определению этой зави- 
симости. Ясно, что эту зависимость следует определять 
так, чтобы число ошибок при применении модели. распо- 
знавания было как можно меньше. Как и в случае 
регрессионных моделей, мы ограничимся здесь случаем, 
когда наблюдаемая величина Х представляет собой ко- 
нечномерный случайный вектор. 


Предположим, что появления образов разных классов 
представляют собой события (несовместные и образующие 
полную группу). В этом случае номер у класса образов, 
которому принадлежит наблюдаемый образ, представляет 
собой реализацию дискретной случайной величины’ У с 


возможными значениями |,..., №, где № — число классов 
образов, подлежащих распознаванию. Пусть р/, ..., ри— 
вероятности этих значений, т.е. априорные вероятности 
появления образов 1-го, ..., М-го классов, [(х|и)— 
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условная плотность наблюдаемой величины Х при данном 
значении у величины У. 

Очевидно, ‘что задача распознавания может быть ре- 
шена только в том случае, когда никакие. две из плот- 
ностей }(х|1),...,[(х|М) не совпадают тождественно, . 
т. е. когда величина Х имеет различные распределения 
для образов разных классов. Это различие в условных 
распределениях величины Х и служит признаком, по 
которому можно различать образы разных классов. Если 
какие-нибудь из плотностей } (х|1),...,[(х|М№) одинаковы, 
то образы соответствующих классов неразличимы. 

Вследствие случайности наблюдаемой величины Х_о 


вырабатываемая моделью распознавания оценка у номера 
класса образов, как всегда в задачах математической 
статистики, представляет собой реализацию случайной 


величины У. Правильному решению соответствует совпа- 


дение У сУ. Если У =2У, то модель распознавания при- 
нимает ошибочное решение. При этом возможны М (М— 1) 
различных видов ошибок в.соответствии с тем, что модель 
может принять образ каждого из М классов за образ 
одного из М— 1 других классов ‘(каждому значению 
у=1,..., М величины У может соответствовать любое 


из М—1 значений У, не совпадающих с и). Обозначим 
через &,, условную вероятность события У = при У =[, 


ан =Р(У=Ё|У=р  (,1=1,...,М№). 


Величины ©,, (к =|,..., А) представляют собой услов- 
ные вероятности правильных решений при соответствую- 
щих о величины У, а ‘величины %„; (к, [=1, 
..., М; Р5Е Г) — условные вероятности ошибок различных 
о `Вероятность правильного решения (безусловная) 
определяется по формуле полной вероятности (1.14): 


| | 
р=Р(Р=У) = Х роль (43) 


Вероятность ошибки (безразлично какого именно вида), 
очевидно, равна д=1— р. 

Построение детерминированной модели распознавания, 
очевидно, сводится к разбиению пространства значений 
величины Х на М непересекающихся частей, которые мы 
обозначим через Д,,..., Ам, и определению зависимости 


433 


? от Х формулой 
У =Е при ХЕА, (В =1,..., №). 


Тогда модель распознавания будет принимать решение, 
что появился образ ^-го класса при попадании величи- 
ны Х в область А, (Е =1,..., М). 

Построение стохастической модели распознавания сво- 
дится к установлению зависимости от Х вероятностей 
6 (1|Х), ..., б(М!Х) отнесения наблюдаемого образа к 
первому, второму, ит. д., М-му классам. В этом слу- 
чае модель распознавания будет по наблюдаемому зна- 
чению х величины Х вычислять вероятности 6 (1 |х),. 
..., 0 (М|х) и в соответствии с этими вероятностями путем 
статистического моделирования ты значение у 
оценки 7. | 

4.2. Детерминированные модели распознавания. Ре- 
шим сначала задачу построения детерминированной мо- 
дели. Границы между областями А,, ..., Ам естественно 
определять так, чтобы вероятность правильного решения 
была максимальной. Такую модель будем называть 
оптимальной моделью распознавания. Вероятности &,, 
(Е, 1=1,..., №) определяются в данном случае формулой 


ан (| ах Ц, 1... М). (44) 
Ар 
Подставив в (43) выражение и,ь ИЗ (44), получим для 
вероятности правильного решения формулу | 


р Ур) 14. (45) 


№» Рассмотрим сначала случай двух классов образов, 
№М=2. В этом случае сбласть А, представляет собой 
_ дополнение области А,, А. =А,, и формула (45) прини- 
мает вид 


р=р | (к Пах-р, | (12) ах. 
А: т 
Но 
6112) @х=1— 1 (х|[2) ах 


> 
— 
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Следовательно, 


ра ры { [ры/ («| 1) — ра! (х |2] ах. (46) 
А, | 
Отсюда видно, что вероятность правильного решения 
будет максимальной, если за область А, ‘принять всю 
область, в которой подынтегральная функция положи- 
тельна. Действительно, если область А, представляет 
собой только часть области, в которой подынтегральная 
функция положительна, то интеграл в (46), а следова- 
тельно и вероятность правильного решения р, будет 
еньше. Если же включить в область 4, часть области, 
в которой подынтегральная функция отрицательна, то 
интеграл в (46), а следовательно и вероятность р, тоже 
будет меньше. Таким образом, оптимальные области А} 
и А, определяются формулами *) 


Арк: р (к) ры (а |2) > 0}, 
А, {х: р (|) — ры] (|2) < 0}. 


Оптимальная граница между областями А, и А, опре- 
деляется уравнением 


ра! (х | 1) = р»! (х |2). 


На рис. 37 показана оптимальная граница — точка х, — 
между областями А, и А, в случае скалярной вели->. 


. 


(47) 


ур 711) 


у=р, 1 (22) 


чины Х. Вероятность ошибки 9 =1—р равна площади 
зачерненного криволинейного треугольника. Если при- 
нять за границу между областями А, и А, точку х, 


+) Через {х: 9}, как всегда, обозначено множество значений Хх, 
удовлетворяющих условию 0. 
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левее точки х, или точку х, правее точки ху, то ве- 
роятность ошибки увеличится на величину площади 
криволинейного треугольника АВС или соответственно 
СРЕ, отмеченных штриховкой. Следовательно, при ‹сме- 
_щении границы между областями А, и А, в любую сто- 
рону от точки х, вероятность ошибки 4 увеличивается 
и, следовательно, вероятность правильного решения р 
уменьшается. 

Таким образом, оптимальная _модель распознавания 


должна вырабатывать значение у оценки У по следую- 
щему правилу: 


И при Ё(х | > 2, 
Р(х | 2) 
- |1) (18) 
у=2 при м 
| Р(х |2) ^ р 


Отсюда видно, что решающую роль в` построении модели 
распознавания играет отношение условных плотностей 
величины Х, соответствующих двум классам образов. 
Это отношение называется отношением правдоподобия. 
Очевидно, что вместо отношения правдоподобия 2 = 
= | (х | 1)/ЁР(х | 2) можно взять любую строго возраста- 
ющую функцию этого отношения 0 (2). 

Итак, оптимальная модель распознавания должна вы- 
числять некоторую строго возрастающую функцию отно- 
шения правдоподобия 9/2 и сравнивать результат с вели- 
чиной с =0 (р,/р,), называемой обычно порогом. При (2) > с 


принимается у=1. При 90 (2) < с принимается у=2. Этот 
алгоритм часто называется решающим правилом. Функция 
9(2) называется’ дискриминантной функцией. Она выби-. 
рается так, чтобы вычисления были как можно проще. 

Покажем, что найденная оптимальная модель распоз- 
навания является оптимальной и с точки зрения*крите- 
_рия максимума апостериорной вероятности, т. е. услов- 
ной. вероятности Р (У = | х) появления образа Р-го класса 
при данном значении х величины Х. Иными словами, 
модель принимает 


и=] при РТ=ИХ>Р(У=а У), 
и=2 при Р(У=2|х) > Р(У=1|х. 


Для доказательства вычислим остериОриЫе вероят- 
ности Р(У = Ех): 


-: Ра — 
РГ © 1,2). 
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Отсюда’ и из (47) видно, что РУ — 11х) о“ 2х) 
’при хХЕА, и Р(У=2[х) > Р(У=1|х) при хЕА 

> При произвольном числе классов образов № апосте- 
риорные вероятности Р (У =А|х) определяются формулой 


Хх] А 
Р(У=Е =“  (-1,..., М) *). 
Ури («11 
Е, | 
Отсюда следует, что в оптимальной модели, работающей 
по критерию. максимума апостериорной. - вероятности, 
области Д,,..., Ам определяются формулой 


А, = {х: тах рый (х |) = рьГ (х[#)} (=1,..., М). (49) 


Эта модель, очевидно, реализует и максимум вероятно- 
сти правильного распознавания р, определяемой форму- 
лой (45), так как для нее формула (45) может быть пе- 
реписана в виде 


р= } тах {ры (х | )} 4х. (50) 


Пример 8. ее случай распознавания образов двух 
классов .при и ы условных распределениях [| (х|1) и [(х |2): 


9 = екр | у (Т—пР) Кр — =, 


($=1, 2). 


Ясно, что вычисления будут проще, если вместо отношения правдо- 
подобия 2=[(х|1)/!(х|2) взять его удвоенный логарифм и отбро- 
сить в полученном выражении все слагаемые, не зависящие от х. 
Тогда получим функцию 0 (2) в виде квадратного многочлена 


9 (2) =дТ (К;*—Кг') х+-2 (К-т КЬ х. 


При этом порог с определится формулой 


с=0 (22) =2 12 рат КУ {+ тТК:ыт, — тТКу\ть. 


В частном случае совпадающих ковариационных матриц К1 = 
= А.=К выражения для 0 (г) и с принимают вид 


9 (2) =2 же, 
с=0 (==) = = Це рии К-т. —тзК- та. 
1 


У [К;| 


*) Для вывода этой (и предыдущей) формулы достаточно под- 
ставить в формулу умножения плотностей (4.23) выражение плотно- 
сти [э (У) дискретной случайной величины У, затем вычислить }; (х) 
по формуле (4.8) и подставить найденные выражения Г(х, и) и | (х) 

в (4.17). 
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В этом случае граница между областями А; и А, представляет со- 
бой гиперплоскость. В соответствии с этим решающее правило, по 
которому работает модель, называется линейным. 

Найдем теперь условные вероятности ошибок: вероятность бло 
принять образ второго класса за образ первого класса и вероят- 
ность @›1 принять образ первого класса За образ второго класса. 
Для этого найдем условные распределения случайной величины 


ХИ) к 
и тара 


_1 Т,-—1 
—т] К1 т. т Ка то = 
=2(тГ —тТ) К-1Х. 
Так как У представляет м линейную функцию вектора Х с нор- 
мальными условными распределениями, то условные распределения И 


нормальны. Поэтому достаточно вычислить условные математические 
ожидания и дисперсии величины У. По формуле (3.11) находим 


и! =М [У Ш=2 (тГ —т7) К-\пь, 
из = М [У |2] =2 (т —т;) К-Ипа. | 
ое дисперсии величины У найдем по формуле (3.50). Так 1 как 


вектор Х имеет одну и ту же ковариационную матрицу для образов 
обоих классов, то условные дисперсии величины У совпадают: 


Б= ИЕ А 1КК-1 (т. — ть) = 
=4(тГ —тГ) К- 1 (т; —т.). 


По формуле (3. 92) для вероятности попадания нормально распреде- 
ленной случайной величины в интервал находим 


Оо1 = вые" дей в — С 
Е р Ур 
Полная вероятность ошибки ‘равна = р1921-- р2бл., а вероятность 
правильного решения — р=1—9 = 1 — р1%51 — р›012. Возможность 
точно определять‘ вероятности ошибок двух видов при нормальном 


распределении вектора Х является важным преимуществом линей- 
ных решающих правил. 


4.3. Стохастические модели распознавания. Перейдем 
к стохастическим моделям распознавания. 


№ Условное. распределение вероятностей 6(у|х) 


(у=]1,..., /) при данном значении х величины Х, в 
соответствии с которым стохастическая модель распоз- 


навания определяет оценку У номера У класса образов, 
называется решающей функцией или рандомизированным 
правилом решения модели распознавания *). 


*) От английского слова «гап@от» — «случайный». 
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Условные вероятности ошибок и правильных рёшё- 
ний различных видов для стохастической модели рас- 
познавания определяются формулой 


ан = 6 (#1) (дах (1, 1=1,...М). (51) 


Вероятность правильного распознавания на основании 
формулы полной вероятности (1.14) равна 


М СМ 
р= У риань = Хр } 6 (#15) (|) ах = 
М 


= У рот 6 ед. | — (62) 
Так как | . | 
оо т, Узи 


при любом х, то подынтегральная функция в (52) пред-. 

ставляет собой среднее взвешенное значение величин 

рьЁ (х|^) (=1,..., №), которое не`может быть больше 

тах /р»} (х|^)}. Поэтому никакая стохастическая модель 
р — 


распознавания не может быть лучше оптимальной детер- 
минированной модели, для которой согласно (50) 


р= } тах {ри (| )} ах. 
Имея в виду определение (49) областей А,, приходим к 
выводу, что вероятность правильного решения р дости- 
гает максимума тогда и только тогда, когда 6 (Е |х) =] 
при ХЕД, и 6 (#|х) =0 ‘при хЕА, (#=1, ..., М), т.е. 
для оптимальной детерминированной модели. < 

Таким образом, оптимальная детерминированная мо- 
дель является оптимальной среди всех возможных моделей, 
как детерминированных, так и стохастических. 

Только что доказанная теорема справедлива, конечно, 
лишь в том случае, когда при построении модели рас- 
познавания точно известны все вероятности р.,..., рм 
классов и условные плотности |(х|1),...,[(х|М№) вели- 
чины АХ. Если модель распознавания строится при 
неполной информации о р, и | (х| Е) (Е =1,..., №), когда 
они точно не известны, то стохастическая модель может 
оказаться лучше всех реализуемых детерминированных, 
так как оптимальная детерминированная модель остается 
в этом случае нсизвестной и не может быть реализована. 
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4.4. Обучение моделей распознавания. Для построе- 
ния модели распознавания в случае, когда ‘вероятности 
р». и плотности [(х|Р) (Е=1,...,М№) зависят от неиз- 
вестного параметра 9 (в общем случае конечномерного 
векторного) или вообще неизвестны, их приходится оце- 
нивать по результатам опытов. 

Если достаточно хорошие оценки неизвестного пара- 
метра 9 можно получить‘ непосрёдственно по наблюдае- 
мому значению х вектора Х (а это возможно только в 
случае, когда размерность вектора 9 значительно меньше 
размерности вектора Х), то можно включить в модель 
распознавания выработку соответствующих оценок ве- 
роятностей р, и плотностей [(х|^Р) и использование этих 
оценок в найденных решающих правилах. 

Однако, как правило, хороших оценок параметра 0 
или непосредственно величин р, и функций [(х|Р) по 
результатам наблюдения величины Х получить невоз-. 
можно. В таких случаях возникает задача обучения мо- 
дели распознавания путем ввода в нее дополнительной 
информации, необходимой для выработки оценок неиз- 
вестных величин или непосредственно границ между 
областями ДА,,...; Ах. При этом в модель включается 
алгоритм ее обучения, т. е. формирования необходимых 
оценок на этапе обучения. Если во время обучения мо- 
дели в нее вводятся только реализации случайной ве- 
личины Х (входного сигнала), то модель называется 
самообучающейся. Если же, кроме реализаций вели- 
чины АХ, в модель вводится во время обучения инфор- 
мация о том, какому классу образов соответствует каж- 
дая реализация величины Х, или какая-либо другая 
информация, которая может быть использована для оце- 
нивания неизвестных характеристик, то модель назы- 
вается обучаемой (или обучающейся). При этом источник 
дополнительной информации, называется учителем неза-_ 
висимо от того, человек это или автоматическая распоз- 
нающая система. Если учитель безошибочно определяет 
класс наблюдаемого образа, то он называется идеаль- 
ным. Если же учитель может ошибаться, то он называ- 
ется реальным [75—80]. 

Для оценивания неизвестных. параметров или функ- 
ций во время обучения модели можно использовать раз- 
. личные методы [25]. В чабтности, одним из наиболее 
эффективных методов является метод стохастических 
аппроксимаций ($5 7. Зи 7. 4). 
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‚ 4.5. Построение моделей распознавания без информа- 
ции 0б априорных вероятностях. До сих пор мы пред- 
полагали априорные вероятности различных классов 
образов р.,...,Рм известными. Однако во многих слу- 
чаях они не известны ‘и даже могут вообще не сущест- 
вовать, ёсли образы различных классов при применении 
модели распознавания появляются не случайно. Во всех 
таких случаях оптимальной моделью распознавания 
образов двух классов считают такую модель, которая 
реализует минимум вероятности ошибки одного вида при 
данном значении вероятности ошибки другого вида. 
Условие минимума вероятности ошибки одного вида при 
заданной вероятности ошибки другого вида обычно на- 
зывается критерием Неймана — Пирсона. 

» Для нахождения решающего правила оптимальной 
модели распознавания по критерию Неймана— Пирсо- 
на можно применить метод неопределенных множителей 
Лагранжа. Согласно этому методу для нахождения 
условного минимума вероятности ©,, при данном значении 
вероятности @,. надо сначала найти минимум величины 
д’ =а.--А., где ^— множитель Лагранжа, а потом 
определить Л так, чтобы‘ вероятность &., имела заданное 
значение. На основании (44) величина 9’ для детерми- 
нированной модели распознавания выражается формулой 


= Горах -% (1+1) 4%. 
А, А. 


Так как ыы. и вследствие этого 
реак Ра 
`А, А ” 

то | 
= — | [11—12 4 

ур 


Отсюда совершенно так же, как в п. 4.2, находим опти- 
мальные области 4, и д. которые в данном случае 
зависят от неизвестного параметра Л: 


А, {: хх) > 0}, 
Аи ГМ (2) < 0}. 


Сравнивая эти формулы с (47); приходим к выводу, что 
оптимальное правило решения отличается от найденного 
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в п. 4.2 только тем, что в выражении порога с, вместо от- 
ношения вероятностей р./р, входит величина °), с=0 (^). 
Эта формула выражает с через величину ^, которая 
определяется из условия, чтобы вероятность @., имела 
заданное значение. В задачах практики часто удается 
непосредственно определять порог с из условия равен- 
ства вероятности‘ ., заданному числу, что позволяет 
избежать промежуточного вычисления /. 


Пример 9. В условиях примера 8 критерий Неймана —Пир- 
сона дает для определения порога с уравнение | 


1 Тот Г) | 
РЕНИ ех ——- (х’ —т!) К! (х—т. ах =0о, 
Ил)" | К» | .) р | 2 | : ь ы г 

1 (с) 


где область интегрирования А, (с) определяется формулой 


А; (© ={: хТ (Кг — Кг") х-- 2 (п КГ! — т Кай) х> с}. 


В общем случае уравнение для с приближенно можно решить, вы- 
числяя интеграл методом статистического моделирования для раз- 
личных значений с. В частном случае одинаковых условных кова- 
риационных матриц вектора Х, К, ==К.=К, т. е. в случае линей- 
ного решающего правила, уравнение для порога с на основании 
результатов примера 4 принимает вид ‘` 


Перейдем теперь к стохастическим моделям распоз- 
навания, обеспечивающим заданную вероятность @». 
Докажем, что никакая стохастическая модель при дан- 
ной вероятности ошибки первого вида @., не может 
иметь вероятность ошибки второго вида _@,; меньшую, 
чем оптимальная детерминированная модель, основанная 
на критерии Неймана — Пирсона. 

№ Действительно, в этом случае 


(605) Ае12)ах= | Го» = (63) 


1 


где А, ={х: {#(х|1) > 412}. Вероятность ошибки вто- 
рого вида для детерминированной модели Неймана — 
Пирсона определяется формулой 


1 => Р(х | 1) ах, 
) 
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а для стохастической модели — формулой 
он = 16 (21 х) { («| 1) ах. 


Следовательно, 


о: р а 
= мер и ПШ (А ах= 
= | 5(21х) 1 (х 10 4х— | (11 1х1 ах. 
А: ’ А. ы 


Отсюда, имея в виду, что | (х|1) > (|2) при хЕА, и | 
[(х11) < МС|2) при хЕА,, получаем неравенство 


а —а > м 8 (21%) 1 (12) 4х — 


—) 8(11х) ры и 5 (21%) 1 (|2) ах-- 


А: 


во (= |2) ах— |6 (114) (12) вы 
а! (|2) дгфроролины 
А, | | 


Но оба интеграла в фигурных скобках согласно (53) 
равны одной и той же вероятности о». Следовательно, 
а» > 9%, причем знак равенства достигается тогда и 
только тогда, когда 6(1|х)=1 при хХЕА, иб(1|х) =0 
при ХЕД,, т. е. для оптимальной детерминированной 
модели. < 

Таким образом, оптимальная детерминированная мо- 
дель Неймана —Пирсона является оптимальной среди 
всех моделей, как детерминированных, так и стохасти- 
ческих. 

Как и вп. 4.3, эта теорема доказана только для 
случая полностью известных распределений |(х|1) и 
[(х|2). Если они не известны или зависят от неизвест- 
ных параметров, то оптимальная модель Неймана —Пир- 
сона не может быть реализована. В подобных случаях 
стохастическая модель может оказаться лучше всех де- 
терминированных. 


443 


4.6. Проверка гипотез. Задачи распознавания родст- 
венны задачам проверки гипотез |49]. Основная задача 
теории проверки гипотез заключается в том, ‚чтобы по 
результатам наблюдения случайной величины Х, ПЛОТ- 
ность вероятности которой [(х|9) зависит от неизвест- 
ного параметра 0, принять или. отвергнуть определенную 
гипотезу о значении 0. Если гипотеза состоит в том, 


что 9 имеет определенное значение 09, и ни от каких. 


‘других неизвестных параметров [(х|0) не зависит, то 
гипотеза называется простой. Если же гипотеза состоит 
в том, что 9 принадлежит некоторому множеству, то она 


называется сложной. В частности, гипотеза о том, что’ 


некоторые координаты векторного параметра 09 имеют 
_ данные значения при неизвестных остальных координа- 
‘тах, будет сложной, так как она равноценна гипотезе, 
что 9 принадлежит множеству всех векторов с данными 
значениями соответствующих координат. 

Задача проверки простой гипотезы Н,, состоящей в 


том, что 0=0,, при условии, что 9: может иметь другое 
определенное значение 9, (конкурирующая гипотеза Н!),. 


очевидно, представляет собой задачу распознавания 
образов двух классов при 


Пе) =Ре), =). 


Отметим, что в этой задаче априорные вероятности р, и 
р. не существуют, так как 09 — неслучайная величина, 
вследствие чего равенства 9—0, и 9=0, не являются 
событиями. 

Решающее правило, для которого вероятность 0. от- 


вергнуть гипотезу Н., когда она верна, имеет данное. 


значение в, ©, ==, в теории проверки гипотез называется 
правилом уровня = **). 

Решающее правило данного уровня &, для которого 
вероятность ©.; отвергнуть гипотезу Н., когда она не- 
верна, максимальна, называется наиболее мощным пра- 
вилом уровня = для гипотезы Ну, относительно гипотезы Ну. 


*) Мы относим значения наблюдаемой величины Х, соответству- 
ющие интересующему нас значению @, параметра © (т. е. случаю, 
когда верна гипотеза Но), ко второму классу образов, чтобы поста- 
новка задачи проверки гипотез совпала с постановкой решенной 
выше задачи распознавания. 

**) В теории проверки гипотез детерминированное решающее пра- 
вило, в соответствии с которым гипотеза Но принимается или отвер- 
`гается, называется критерием. Мы предпочитаем более общий и более 
современный термин решающее правило. 
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Ёсли одно и то же решающее правило оказывается най- 
более мощным при всех возможных значениях 0, (при 
всех конкурирующих гипотезах Н,), то оно называется 
равномерно наиболее мощным правилом уровня в для ги- 
потезы Но относительно множеств допустимых гипотез. 

Современная теория проверки гипотез заложена тру- 
дами Неймана и Е. Пирсона [67, 68], которые первыми, 
решили задачу нахождения наиболее мощного решающе- 
го правила данного уровня. Именно поэтому критерий 
максимума вероятности @,, (минимума «&,,) при данной ве- 
роятности ©. называется критерием Неймана — Пирсона. 

Ясно, что решающее правило оптимальной модели 
распознавания образов двух классов, основанное на кри- 
терии Неймана—Пирсона, является наиболее мощным пра- 
вилом уровня =. для гипотезы Ну, относительно Н!- 
Случаи, когда существует равномерно наиболее мощное 
решающее правиЛо, встречаются очень редко. 

Пример 10. Найденная в примере 9 оптимальная модель рас- 
познавания решает задачу проверки гипотезы о том, что неизвестное 
математическое ожидание т и ковариационная матрица К случайного 
вектора Х равны т» и К» (при конкурирующей гипотезе “= та, 
К =К,). Решающее правило этой модели является наиболее мощным 
правилом уровня 8 =@ 2. Согласно этому правилу гипотеза т = то, 
К =К. принимается, если 0 (2) < с, и отвергается, если 0 (2) > с. При 
известных совпадающих ковариационных матрицах К: иКь, К1=К. = 
= А, найденное в примере 5 оптимальное линейное решающее правило 
является наиболее мощным правилом уровня Е=0а2 для гипотезы 
т= то относительно гипотезы т == и. 

Если модель распознавания строится в случае неизвестных плот-. 
ностей }(х| А) или известных.с точностью до неопределенного пара- 
метра 0, то, так же как в случае моделей п. 4.2, возникает задача 
обучения: модели, о которой сказано в конце п. 4.4. 


4.7. Последовательные модели распознавания. В из- 
ложенной теории построения моделей распознавания 
вектор Х может представлять собой или однократно на- 
блюдаемую случайную величину, или совокупность резуль- 
татов п последовательных наблюдений некоторого слу- 
чайного вектора (Ц меньшей размерности. В последнем 
случае Х=[0Т..: ИГ], где Ц., ..., И, результаты 
наблюдений вектора (, и рассмотренные модели распоз- 
навания вырабатывают решение только после того, как 
произведены все п наблюдений. Однако можно построить 
и Такую модель распознавания двух классов образов, 
которая после каждого наблюдения или принимает опре- 
деленное решение о классе наблюдаемого образа, или 
принимает решение сделать еще одно наблюдение. Такой 
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метод решения задачи распознавания, называемый послеё- 
довательным анализом, разработан Вальдом [14] *). 

Пусть {[, (х|1) и р. (х|2) —условные плотности векто- 
ра Х для образов двух классов.для первых К наблюде- 
ний (Е =1, 2, ...). Размерность вектора Х в этом случае, 
очевидно, равна Рр, где р — размерность вектора И. Пусть 
9, (2), г= {» (х| 1)/1, (х| 2), —дискриминантная функция для 
первых А наблюдений. Метод последовательного анализа 
состоит в том, что, задав обе условные вероятности 
ошибки &., и‘, на каждом шаге определяют два порога 
бк И С5ь, Ск < с,, (Е=1,2,...). Если после К-го наблю- 
дения 0, (2) > с,,, то принимается у=1. Если 0, (2) < си», 
то принимается у=2. Если же с, < 0, (г) < с,„, то про- 
изводится (Е--1)-е наблюдение вектора И **). Ясно, 
что в этом случае модель примет образ второго класса 
за образ первого класса, если для образа второго 
класса получится 0, (2) > с,,, а образ первого класса 
за образ второго класса, если для образа первого класса 
получится: 0, (г) < с.„. Следовательно, условные вероят- 
ности ошибок двух видов выражаются через пороги с, 
И С формулами 


С. 3 == \ ху ах, = \ [(х|Пах. (54) 


9,,(2)> со, | 9, (2) <С1» 


При заданных вероятностях @., и %, эти соотношения 
служат уравнениями для определения порогов С1» И бСь,. 
Эти уравнения в общем случае можно приближенно ре- 
шить, вычисляя интегралы для ряда значений С, И С» 
путем статистического моделирования ($ 8.4). 

Число наблюдений, после которых последовательная 
модель распознавания принимает определенное решение 
о классе образа, представляет собой случайную величи- 
ну. Покажем, что при любых вероятностях @. и @1, с 
которыми задача распознавания решается оптимальной 


*) Изложение современной тесрий последовательного анализа, из 
которой первоначальные методы Вальда вытекают как частный слу- 
чай, дано в [124]. 

**) При этом, конечно, образ, предъявленный для распознавания, 
не должен изменяться в течение всего времени наблюдений. Иными 
словами, многократно наблюдаемая случайная величина (И должна 
характеризовать один и тот же образ (иметь одно и то же распреде- 
ление) во время всех наблюдений. В случае проверки простых гипо- 
тез все наблюдения вектора (С должны производиться при одном и 
том же значении неизвестного параметра 0. 


446 


4 
8.4 _-. ЗОБВЫЙ ии ь 2 ЩЕ Ев араьлайены 


моделью Неймана—Пирсона при каком-нибудь конечном 
числе наблюдений п, математическое ожидание числа на- 
блюдений, необходимых для последовательного распоз- 
навания с теми же вероятностями из и ©, всегда 
меньше п. 

> Предположим, что при п наблюдениях вектора И 
оптимальная модель Неймана-— Пирсона решает задачу рас- 
познавания с вероятностями ошибок @., и @,:. Тогда 


$ роах=а,  \ Ва Пахан, 


0,,(2)>с 9,,(2) <с 


Пороги с:„ и с,, на п-м шаге последовательного распоз- 
навания с теми же вероятностями ошибок ©, иа,, опре- 
деляются уравнениями (54) при  =п. Сравнивая послед- 
ние равенства с (54) при Е=п, получаем с„=с,„=с. 
Вследствие этого последовательная модель распознавания 
с вероятностью 1 примет определенное решение после не 
болыйе чем пл наблюдений (событие 0, (2) =с практически 
невозможно; поэтому (п-- 1)-го’ наблюдения заведомо не 
будет). Однако последовательная модель может принять 
определенное решение и раньше, после Ё < п наблюдений, 
и вероятность этого события не равна нулю. Следова- 
тельно, математическое ожидание случайного числа на- 
блюдений, при котором последовательная модель распоз- 
навания примет определенное решение, меньше п. < 


Пример 11. Предположим, что в условиях примера 8 вектор 
Х представляет собой совокупность Е К независимых на- 
блюдений случайного вектора (, Х=[ОТ. гы №. В этом случае 


выражение примера 8 для  ОИМиННнОй ое принимает вид 


[3 
6 (2) = У [ТЕ ща ВТ) и, 
[=] . 


где й:, А.— условные математические ожидания, а [.1, [..— условные 
ковариационные матрицы вектора И для образов двух классов. 
В частном случае, когда [1 =[а=[, формула для 0, (2) прини- 
мает вид 
Ь а 
0, (г) = > (ТТ) Г-щ 


и формулы для условных математических ожиданий и дисперсий 
величины у 


|. 
У =6, (7) == У) ТТ) [-ЧЛ 
{=Т. 
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дают 
АА (ИТ ВТ) Г-2А:, рак (АТ ВТ) Ев, 
Рь=Е (ТВТ) 1.1 (,—1,). 


Полагая для краткости (ТВТ) Г-Н =, (ТГ) [-1,=А,, 
будем иметь 
° ШАЕ=АА1, Ир = АА Оь=и (Ам —^,). 


Уравнения (54) для определения порогов С1к И Сок в этом случае 
имеют вид 


К —с 1 ‘бов — ВА 1 
Ф (ре) = вы, Ф ее) бы 
ИР (А: —^,) ИЕ(А, —^.) 
Обозначив аргументы функции Лапласа, при которых справедливы 
эти равенства, соответственно %: и %›, получим 


СЕ =ЕА1 — “1 УЕ (4 —^Л.), Са АУ Ук (№: —Л.). 
Следовательно, | 
Сав — Св == (У \2) У Е (А, —Л,) — А (^^. —^.). 


Отсюда видно, что число наблюдений п, при котором с1 п < сои; опре- 
деляется неравенством 


(--\>)2. 
А1— А2 й ы ь 


Наименьшее целое число п (всегда положительное вследствие того, 
что А: > А), удовлетворяющее этому условию, и будет максимальным 
возможным значением случайного числа наблюдений, необходимых 
для того, чтобы последовательная модель распознавания приняла 
определенное решение. Математическое ожидание числа наблюдений 
для последовательной модели распознавания будет всегда меньше п. 


п — 


Последовательный анализ можно считать началом тео- 
рии управления экспериментальными исследованиями. 
В последовательном анализе Вальда управление состоит 
в том, что в зависимости от результатов проведенных 
опытов на каждом шаге решается, продолжать опыты 
или прекратить их и принять определенное решение о 
принадлежности результатов наблюдений определенному 
классу. В более общих и сложных задачах управление 
должно включать и решение о том, какие именно экспе- 
риментальные исследования следует провести, в зависи- 
мости от результатов обработки уже проведенных опытов. 
В таком плане теория управления экспериментальными 
исследованиями сейчас еще только начинает развиваться. 
Обобщение методов последовательного анализа содержится 
в статистической теории решений, основы которой также 
‚ были заложены Вальдом [15]. 
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$ 5. Модели принятия решений 


5.1. Задача принятия решений. Все задачи, решаемые 
моделями любого назначения, можно рассматривать как 
задачи принятия решений. Так, например, регрессион- 
ная модель по данному значению величины х вырабаты- 
вает оценку величины У, т. е. принимает решение о том, 
какое значение следует приписать величине У. Модель 
распознавания по наблюдаемому значению х величины Х 
определяет, к какому классу следует отнести соответст- 
вующий этому х образ, т. е. принимает решение о том, 
какому классу принадлежит наблюдаемый образ. Точно 
так же любую задачу оценивания можно рассматривать 
как задачу решения о том, какие значения следует при- 
писать неизвестным статистическим характеристикам, 
имея в своем распоряжении результаты наблюдений. Эти 
соображения привели Вальда к разработке основ общей 
статистической теории решений |15]. В дальнейшем эта 
теория начала распространяться в направлении разра- 
ботки методов обоснования решений, принимаемых людь- 
ми во всех областях деятельности человека, т.е. методов 
построения моделей процессов обоснования и принятия 
любых решений. Сейчас теория решений интенсивно раз- 
вивается ‘и составляет один из важнейших разделов общей 
теории управления [4, 21, 52, 61, 80]. 

В простейших задачах решения принимаются при 
полной информации о возможных последствиях различных 
решений. Так, например, при построении регрессионной 
модели в случае известного совместного распределения 
величин Х и У полностью. известно распределение оши- 
бок модели (отклонений от регрессии). При построении 
модели распознавания в случае известных условных плот- 
ностей | (х|^) (Е =1, ..., №) можно вычислить вероят- 
ности ошибок всех видов, а если известны также и ап- 
риорные вероятности появления образов различных 
классов р., ..., рм, То и полную вероятность ошибки д. 

Однако в большей части задач практики решения 
приходится принимать при неполной информации. Так, 
например, при построении регрессионной` модели в слу- 
чае, когда распределение величин Х и У не известно 
или’ зависит от неизвестных параметров, распределение 
ошибки модели остается в той или иной степени неопре- 
деленным. Точно так же при построении модели распоз- 
навания в случае, когда рь и | (х|) (Е =1, ..., №) не 
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известны или зависят от неизвестных параметров (при 
проверке сложных гипотез), точно вычислить вероятности 
ошибок разных видов невозможно. 

Еще больше неопределенности в задачах принятия 
решений людьми, участвующими в управлении. В таких 
задачах возможные последствия различных решений боль- 
шей частью трудно, а иногда невозможно оценить. Реше- 
ние приходится принимать в условиях неопределенности. 
Залача науки при этом состоит в том, чтобы определить 
наиболее разумные варианты решений, связанные с наи- 
меньшим риском неудач и потерь. Мы говорим здесь о 
наиболее разумных, а не об оптимальных решениях 
потому, что решения, как правило, приходится оценивать 
с различных точек зрения. Решения, оптимальные с од-. 
ной точки зрения, могут оказаться плохими с другой 
точки зрения. Поэтому выбор определенного решения. 
практически всегда связан с необходимостью компромис- 
са между разными, подчас противоречивыми требованиями. 

5.2. Риск и функция потерь. Для построения теории 
решений необходимо прежде. всего ввести какую-то меру 
качества решения. Пусть х— совокупность всех величин, 
характеризующих исходные данные для принятия реше- 
ния (т. е. всю информацию, которой мы располагаем для 
принятия решения —входной сигнал модели решения), 
г — совокупность всех величин, характеризующих решение 
(выходной сигнал’ модели решения). Качество решения 
можно характеризовать функцией двух переменных г (2 | х), 
определяющей потери (или проигрыш), к которым при- 
водит решение г при данном х. Эту функцию обычно 
называют риском, связанным с решением г при данном х 
(стоимостью или ценой решения 2 при данном х) *). 

Пример 12. В случае оценивания регрессии путем МИНИМИ- 
зации среднего квадрата ошибки при данном х качество модели 


характеризуется квадратом модуля ошибки |2— У |?. Определив риск 
формулой 


ге) = М 2—УРЫ = | [2—1 4%, 
можно свести задачу п. 9.2.1 к минимизации риска. 


*) Вместо риска часто вводят полезность решения 2 при данном 
х— функцию и (2| х), характеризующую выигрыш (прибыль), к кото- 
рому приводит решение 2 при данном х. Однако с математической 
точки зрения это одно и то же, так как при данной полезности реше- 
ния и (2| х) всегда можно определить риск, положив г (21 х) =Го — 
—и(2|х), где’, — произвольное число, ‘и таким путем свести задачу 
максимизации полезности к задаче минимизации риска. 
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Пример 13. В случае распознавания по максимуму апостери- 
орной вероятности с правильным решением можно связать нулевые 
потери, а ошибке любого вида приписать потери, равные 1. Опреде- 
<лив таким путем функцию потерь 


| . при 2=1, 
(и, г) = при 2=и, 


можно определить риск формулой 
г (2х) = М [ЕЦУ, ое к РИ, : 
2 ри (х |0) 


Тогда задача построения оптимальной детерминирован ной 1 модели рас- 
познавания сведется к минимизации риска. 

Пример 14. Задача оценивания неизвестного параметра 0 ме- 
тодом максимума правдоподобия $ 7.2 сводится к минимизации риска, 
определяемого формулой 

г (| и) =", — в (и |2), 
гдед (и | 90) —функция правдеподобия, а г, — произвольная постоянная. 


Способы определения риска в примерах 12 и 13 пред- 
ставляют собой частные случаи общего способа опреде- 
ления риска в задачах оценивания случайных величин. 
Этот общий способ состоит в том, что для любых воз- 
можных значений у, г случайной величины У иее оценки 
2 потери оцениваются значением некоторой функции /[(и, 2). 
Эта функция называется функцией потерь. При заданной 
функции потерь риск определяется как условное матема- 
тическое ожидание функции потерь при данных значе- 
ниях Х И 2: - 


ему, ди, деда. 55 


В примере 12 [(у, г 2) —12. Ут, а в примере 13 1(у, г) = 
=1—6, (и 2=1, ..., №). Другими примерами приме- 
няемых в задачах практики функций потерь могут слу- 
жить [(у, 2д=1—ехр 1—2? |2— у],  1(у, 2) = 
= 1 — 1/1 | 2—у]|), [(у, 2)=[, при у=Ь 2=] 
(1 [=1, ..., У). Если за функцию потерь принять инди- 
катор некоторого множества, [(у, 2) = ле (И), то риск 
будет равен условной вероятности попадания случайной 
величины У на это множество при данных х и 2: 


г(2|х) = \ ле (ИГ Хау = 
= Ах и= Ед (2) 


15* - 
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При этом чаще всего за множество А (2) принимают круг 
некоторого радиуса а с центром в точке г в простран- 
стве значений величины У (интервал (2г—а, 2--а) в слу- 
чае скалярной величины У). При этом риск определяется 
формулой | 

а а 


Формулу (55) можно формально распространить и на 
задачи оценивания неслучайного параметра у=0. Для 
этого достаточно подставить в (55) выражение условной 
плотности ] (у | х) из формулы умножения плотностей (4.23) 
и воспользоваться формулой (4.8). Тогда получим 


лье 


г(2 | х) = 
УЗоАНИХ 


В случае равномерного распределения Ув некоторой 
области В функция ], (и) постоянна в области В, вслед- 
ствие чего предыдущая формула принимает вид 


эро а 

В 
Г У Хх О ом ЧЕН 
Е Црешма 


В 


Если функция [(х|и) интегрируема по у по всему про- 
странству значений величины У, то можно формально 
перейти к пределу, когда область В неограниченно рас- 
‘ширяется и стремится совпасть со всем пространством 
значений величины У. В результате получаем 


аби, г) В (1 49 


р м (56) 
\ Ва (х| и) ау 


ве = 


Эта предельная формула имеет смысл только тогда, ког- 
да у представляет собой неслучайный параметр,. так как 
никакая случайная величина не может быть равномерно 
распределенной на всем пространстве ее значений. По- 
этому формулой (56) обычно определяют риск в задачах 
оценивания неслучайных параметров (или параметров, 
относительно которых не известно, случайны они или 
нет). Положив, в частности, [(у, г) =7— 6 (2—9), полу- 
чаем г (2|[х) = —с (х) | (х|2г), где через с(х) обозначена 
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обратная величина интеграла в знаменателе формулы (56). 
Таким ‘образом, взяв в качестве функции потерь отри- 
цательную 6б-функцию —6 (2—1), можно свести оцени- 
вание параметров по методу максимума правдоподобия ` 
к минимизации риска. Постоянное слагаемое г, и множи- 
тель с(х), зависящий только от значения х наблюдаемой 
величины Х, при этом не играют никакой роли, и 1, 
вводится только для того, чтобы формально не получать 
отрицательных значений риска (с матехатической точки 
зрения без потери общности всегда можно принять г, =0, 
так же как и в примере 14). 

В задачах решения, в которых целью не является 
выработка оценки какой-нибудь случайной или неслу- 
чайной величины, риск нельзя определить с помощью 
функции потерь так, как это делается в задачах» оцени- 
вания. Поэтому в таких задачах приходится непосредст- 
венно определять риск г(2|х). как функцию исходных 
данных х и решения 2. Сейчас разрабатываются методы 
определения риска (или полезности) для различных за- 
дач принятия решений с учетом индивидуальных пред- 
почтений и черт характера людей, которые должны при- 
нимать решения [61, 80]. 

Если риск представляет собой скалярную величину 
(задача решения однокритериальна), то имеет смысл гово- 
рить об оптимальном решении, минимизирующем риск. 
Однако во многих задачах практики при выработке ре- 
шения приходится руководствоваться многими критери- 
ями, которые невозможно свести к одному скалярному 
критерию (многокритериальные. задачи решения). В таких 
случаях риск представляет собой векторную функцию и 
об оптимальных решениях, строго говоря, речи быть не 
может. Действительно, в общем случае не ‘существует 
_ решения, для которого все координаты векторного риска 
одновременно имеют минимальные возможные значения. 
Тем не менее на практике часто говорят об оптимизации 
по векторным критериям, подразумевая под этим выра- 
ботку приемлемого решения, достаточно хорошего с точ- 
ки зрения всех скалярных критериев. Существует ряд 
методов для выработки таких приемлемых решений [29]. 
Все.они в той или иной степени включают определение 
решений, оптимальных с точки зрения. каждого скаляр- 
ного критерия по отдельности. Поэтому мы рассмотрим 
здесь кратко основные принципы построения моделей 
решения, основанных на минимизации какого-нибудь 
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одного критерия (скалярного риска). Методы увязки таких 
частных оптимальных решений и нахождения приемлемых 
решений с учетом ‘нескольких критериев увели бы нас 
далеко за рамки этой книги, и мы их рассматривать не 
будем. 
5.3. Оптимальные решения. Рассмотрим сначала зада- 
чу оптимизации решения, не ограничивая класс возмож- 
ных решений. При этом мы должны будем рассматривать 
не только детерминированные, но и стохастические модели 
решения. Стохастическая модель вырабатывает решение, 
представляющее собой реализацию случайной величины 2, 
в соответствии с некоторым распределением. Это распрс- 
деление, конечно зависящее от входного сигнала .х как 
от параметра, называется решающей функцией стохасти- 
ческой модели решения. Поскольку мы рассматриваем 
здесь только конечномерные случайные величины, можно 
считать, что решающая функция задается плотностью 
5 (2|х). Детерминированная модель, вырабатывающая 
определенное решение 2=0(х), представляет собой 
частный случай стохастической модели, когда 0 (2 |х) == 
—=6 (2 —Ф (х)). 

Для стохастической модели риск как функция случай- 
ного решения С сам представляет собой случайную вели- 
- чинуг (2 | х). Поэтому оптимальной стохастической моделью 
называется модель, минимизирующая математическое ожи- 
дание риска (т. е. средний риск} при данном х 


о ($ С = \ г (2х) 0 (2 | х}аг. (57) 


Без всяких выкладок ясно, что если существует такая 
функция г=Фф(х), при которой риск г (ф (х) | х) имеет наи- 
менышее возможное значение г (ф (х) | х) = шЁг (2 |х) при лю- 

2 


бом х, то детерминированное решение г=ф(х) будет 

оптимальным среди всех возможных решений и никакая 

стохастическая модель не может быть лучше детермини- 

рованной, принимающей г=ф(х) при любом х. К этому 

же выводу приходим и математически. Если г (ф (х) | х) == 

= шШЁх (2|х), то г(2|х) г (ф(х)|х) при любых х и 2, 
2 


вследствие чего 

р (81 <) > | ^ (® (2) |) 8 (2[х) 42=г(® (91 
для любой решающей функции 6 (2х). 
454 | 
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Так как условное математическое ожидание т, (х) = 
= МУ] представляет собой функцию, для ‘которой 
средний квадрат ошибки М [|2—У ]х] достигает точной 
нижней грани при всех х (п. 3.2.4), 


М [т, (х) НУР ЕМУ 


то из доказанной теоремы следует, что никакая стохас- 
тическая модель прогноза или дценивания случайной вели- 
чины У по результатам наблюдения х не может быть 
лучше оптимальной детерминированной модели, работаю- 
щей по регрессии. Этот вывод дополняет результаты 


Точно так же в задаче распознавания п.4.5 сущест- 
вует функция 


у(х)=Ё при ры (х1®) = тах {р (х |0} #=1,..., №), 


минимизирующая риск примера 13 при всех х. Поэтому 
не существует стохастической модели распознавания, луч- 
шей, чем оптимальная детерминированная модель. 

Если при любом х существует непустое. множество 


р, ={2: г (21 х) = 1ш1Ёг (2' [х)}, 


то любое распределение вероятностей, полностью сосре- 
доточенное на множестве Вх, будет решающей функцией 
стохастической оптимальной системы, так как для любой 
плотности вероятности 6 (2|х), равной 0 вне О, 


о (6 [х) = \ г (21х)6 (2| х) ах = ШЁг (2 |х). 


Хх 


В этом случае существует бесчисленное множество опти- 
мальных систем, как детерминированных, так и стохасти- 
ческих, и все они равноценны, средний риск р (6 [х) для. 
них- имеет одно ито же значение. | | 

Если точная нижняя грань ШЁг(2|х) не достигается 
ни при каком конечном г в области возможных значе- 
ний х, то оптимального решения не существует. Однако 
по определению точной ‘нижней грани всегда существуют 
значения 2, при которых риск г(2|х) как угодно близок 
к точной нижней грани. Поэтому для произвольного 
= >> 0 существует множество значений 2, для которых риск 
г (г|х) отличается от своей нижней грани при данном х 
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не больше чем на &: 


РЕ=4а: (2х) — шШЁг (2 |х) < #. 
=’ 


Для любой плотности 6 (2|х), равной О вне области О, 


о (6 | х) = \ г (2 


- р 
Вх 


х)6 (2| х) аг < шт (2|х)-Е в. 
Таким образом, всегда существует бесконечное множество. 
решений, как детерминированных, так и стохастических, 
как угодно близких к ‘оптимальному (в том смысле, что 
средний риск для них как угодно близок к своей точной 
нижней грани). Все эти решения с практической точки 
зрения не отличаются от оптимального. Поэтому с практи- 
ческой точки зрения всегда существует множество 
оптимальных решений, даже тогда, когда математическая 
задача оптимизации не имеет решения. 

_ 5.4. Оптимальные решения в данном классе функций. 
Если оптимальное детерминированное решение ищется в 
ограниченном классе функций Ч, то: в общем случае оно 
не может быть оптимальным при каждом данном значе- 
‘нии х. В таких случаях, как и вп. 9.2.1, приходится 
ставить задачу минимизации среднего риска в данной 
области изменения х. Так же как и в п. 9.2.1, прихо- 
дим к выводу, что при любом методе осреднения г (2х) 
можно считать х значением случайной величины Хи 
минимизировать Мг (2 (Х)|Х). 

Пример 15. В условиях примера 12 оптимальное детерминиро- 


ванное решение 2 (х) в данном классе функций Ч определяется из 
условия минимума величины 


Мг (2 (ХХ) =} В сдах | [209 ФУ 11%) 4%. 


5.5. Принятие решений в условиях неопределенности. 
Оптимальные или близкие к оптимальным модели реше- 
ния, минимизирующие средний риск, могут быть реали- 
зованы или хотя бы исследованы только в том случае, 
когда риск г (2 |х) представляет собой известную функцию. 
Однако во многих задачах риск невозможно определить 
как известную функцию, так как при одних и тех же 
значениях х и 2 последствия решения 2.точно определить 
(прогнозировать) невозможно, вследствие того что они 
зависят от многих неизвестных факторов, как случайных, 
так и неслучайных. Если действие всех этих факторов 
можно охарактеризовать в каждом конкретном случае 
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х 


конечным набором чисел, то риск иногда удается пред- 
ставить как известную функцию х, г и неизвестного век- 
торного параметра 9 (параметризовать риск). Обозначим 
его через г (2|х, 09). Тогда и средний риск при данной 
решающей функции 6 (2|х) будет зависеть от 0: 


р (5х, 0) = и (2х, 9)6 (2 | х) аг. (58) 


Минимизация среднего риска в этом случае даст опти- 
мальную решающую функцию бо(2|х), тоже зависящую 
от 0. Вследствие этого такая оптимальная решающая 
функция не может быть реализована. Однако соответст- 
вующее оптимальной решающей функции значение сред- 
него риска о (бъ|х, 9) можно использовать для оценки 
качества неоптимальных решений, принимаемых при от- 
сутствии полной информации о значении 09. Для любой 
решающей функции 6 (2|х) потери вследствие неопреде- 
ленности можно при каждом данном значении 0 оценить 
разностью 


А (х, 0) =р(бх, 0) —0р (бъ|х, 0), 


а относительные потери — отношением А (х, 09)/о (бо |х, 0). 

Для оптимизации решений в условиях неопределен- 
ности применяются два основных подхода. Первый под- 
ход основан на том, что 0 считается значением некоторой 
случайной величины © и риск заменяется его математи- 
ческим ожиданием при данных х иг. Второй подход 
основан на том, что при каждой паре значений х, 2 
риск заменяется его точной верхней гранью для всех 
возможных значений 0. 

Предполагая, что 9 представляет собой значение слу- 
чайного вектора ©, а входной сигнал х— значение ‘слу- 
чайного вектора Х, зададим априорную плотность 4 (0) 
вектора ©9 и условную плотность р(х|09) вектора Х при 
данном 09. Тогда апостериорная плотность ®(9|х) опре- 
делится в соответствии с (4.23) и (4.8) формулой 


5 (59) 
а (и) р (+1 1) а 


Математическое ожидание риска при данных хи г опре-. 
делится формулой 


р \ г (2х, 60) о (09| х) 40. | (60) 
. 4957 


Заменив в (58) риск г(х|2, 0) его апостериорным мате- 
матическим ожиданием г, (2|х), можно искать оптималь- 
ные или близкие к оптимальным решения, минимизиру- 
ющие математическое ожидание г, (2|х) при данном х, 
р. (81) =М[и, (21%) [4]. 

Формула (59) представляет собой очевидное обобще- 
ние формулы Бейеса (1.23). Поэтому подход, основанный 
на замене риска его апостериорным математическим ожи- 
данием, обычно называется бейесовым, а оптимальные 
решения в этом случае называются бейесовыми реше- 
ниями.. | 

Качество бейесова решения можно характеризовать 
апостериорным математическим ожиданием разности 
Ах |0) =р (6х, 0) —р (бо [х, 6): 


А, (х) 2 А.(х, 9) о (09| х) 49 


Слабостью бейесова подхода является необходимость 
задания априорного распределения 4 (0), для определе- 
ния которого обычно нет никаких данных. Поэтому его 
приходится задавать произвольно, в частности, принято 
считать его равномерным в достаточно широкой области. 
Эта априорная неопределенность приводит к некоторой 
неопределенности в соответствующих оптимальных реше- 
ниях. Однако, если размерность вектора х значительно 
больше размерности вектора 0 (не меныше чем на 20--30), 
то апостериорная плотность © (9 |х) практически не зави- 
сит от априорной плотности @ (9) и найденные изложен- 
ным способом оптимальные и близкие к оптимальным 
решения практически не зависят от & (0). Это в известной 
мере оправдывает бейесов подход. Поэтому он ‘широко 
применяется на практике. 

Желание усовершенствовать бейесов подход, освобо- 
дить его от априорной неопределенности привело. к по- 
явлению эмпирического бейесова подхода, основная идея 
которого состоит в том, чтобы путем проведения Допол- 
нительных опытов получить возможность оценивать 
© (0|х) без знания < (9) [22, 88—91]. | 

Если отказаться от предположения, что 09— возмож- 
ное значение некоторой случайной величины, то естест- 
венно. рассчитывать на наихудшее стечение обстоятельств. 
В этом случае при любых хи 2 риск г(2|х, 0) заменя- 
ется точной верхней гранью множества значений г (2 |х, 6), 
соответствующих всем возможным значениям 0, т. е. 
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величиной 
г. (2х) = Г 9). 


Заменив в (58) риск г(2|х, 0) его верхней гранью г, (2 |6), 
можно искать оптимальные и близкие к оптимальным 
решения, минимизирующие среднее значение г, (2 |х) при 
данном х, р. (5 | х) = М[е, (2 |х) [Хх]. 

Оптимальные решения при таком подходе минимизи- 
руют’максимально возможное значение риска. Поэтому 
подход, основанный на замене риска его верхней гранью, 
обычно называется минимаксным, а оптимальные реше- 
ния В этом случае называются минимаксными решениями. 

Качество минимаксного решения естественно харак- 
теризовать верхней гранью разности А (х, 0) =р (6х, 9) — 
— р (бо|х, 0): 

А, (х) =зир А (х, 0). 
0 


Достоинством минимаксного подхода является то, что 
он не требует задания каких-либо произвольных функ- 
ций. Его недостаток состоит в-том, что он основан на 
_ расчете на наихудшее стечение обстоятельств, которое, 
как правило, маловероятно. Поэтому минимаксные реше- 
ния, минимизируя максимальные возможные потери, часто 
приводят к излишне большим потерям —малым выигры- 
шам — при наиболее вероятных реальных стечениях обсто- 
ятельств. Иными словами, минимаксные решения чересчур 
осторожны. | 

5.6. Обучение меделей принятия решений. Если не- 
определенность слишком велика, т. е. разброс возможных 
значений риска при данном х слишком велик для любого 
решения 2, то можно поставить вопрос о получении до- 
полнительной информации для принятия решения с целью 
уменьшения неопределенности. Чем больше дополнитель- 
ной информации получено, тем меньше будут потери. 
Однако получение любой информации связано с затратами 
средств и времени, что приводит к увеличению потерь. 
Таким образом, получение дополнительной информации 
приводит, с одной стороны, к уменьшению ожидаемых 
потерь за счет возможных последствий принимаемого 
решения, а с другой стороны, к увеличению потерь за 
счет стоимости информации. Поэтому возникает задача 
определения оптимальной дополнительной информации, . 
при которой суммарные ожидаемые потери минимальны. 
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Пусть и —вектор, определяющий дополнительную ин- 
формацию, с(и|х) — затраты на получение информации и, 
приведенные к тем же единицам, в которых измеряется 
риск, т. е. потери, связанные с возможными последстви- 
ями принимаемого решения. Функция с(и|х) в общем 
случае зависит от значения вектора и, от его размерно- 
сти, характеризующей объем получаемой информации, 
и от того, какие именно величины служат его коорди- 


натами. 


При бейесовом подходе 0, хи и считаются возмож- 
ными значениями некоторых случайных векторов ©, Хи 
И и для них задаются априорное распределение « (6) 
вектора ©, условное распределение р (х| 0) вектора Х при 
данном 9 и условное распределение 9(и|х, 9) вектора И 
при данных хи 0. Определив ры ю плотность 
вероятности 


о (9 |х, Фра х Ни 
| аасур(а|па(м] х, дам 


можно заменить ’в (58) риск его апостериорным матема- 
тическим ожиданием | 


г: (21%, иу= и (2х, 9) ® (9 |х, и) а0 


и после этого искать оптимальные или'близкие к опти- 
мальным решения, которые, конечно, будут зависеть от и. 
Поэтому обозначим оптимальную решающую функцию 
через 6, (2|х). Суммарные потери для модели с такой ре- 
шающей функцией при данных значениях х, 9 ин опре-. 
деляются формулой | 


Ю (0. [х, ‘1, 0) = (5, [х, и, 9 с (и |х) = 
= и (ах, 0) 6, (г | х) 42-Нс(и|х). (61) 


Однако значение вектора и, так же как и значение па- 
раметра 9, заранее, до получения дополнительной инфор- 
мации, не известно. Поэтому для принятия решения о 
получении: дополнительной информации, о ее составе и 
объеме необходимо определить средние потери, т. е. мате- 
матическое ожидание потерь с учетом случайности. вели- 
чин ©9 и (0. Для этого следует умножить (61) на совмест- 
ную плотность величин © и И при данном х и проинтег- 
рировать по ди и. В результате получим средние 
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суммарные потери при данном х: 
в, (= А (6, х, и, 00|) 9 (и|х, 0) аи. (62) 


В ряде задач решение о получении дополнительной 
информации приходится принимать до того, как будут 
известны исходные данные для принятия решения, т. е. 
вектор х. В таких случаях необходимо определить сред- 
ние потери с учетом случайности всех трех величин ©, 
(С их. Для этого следует умножить (61) на совместную 
плотность величин ©, И и Х и проинтегрировать по 6, 
ци х. Тогда получим средние суммарные потери 


=} (8,|х, и, 0) а (9) р(х| 68) а(и|х, 9) адвахаи. 
(63) 


Задача определения оптимаЛьного объема и состава 
дополнительной информации сводится к минимизации 
величины (62) или (63) путем выбора состава (конкрет- 
ного содержания) и размерности вектора и. | 

При минимаксном подходе получение дополнительной 
информации суживает пределы возможных значений 0 и, 
следовательно, приводит к уменьшению верхней грани 
риска, т. е. к замене г, (2|х) величиной 


ей) ор. (2|х, 0), 


где В (и) — область возможных значений 0 при данном и. 
Получаемое в результате оптимальное решение тоже за- 
висит от и. Поэтому, как и в предыдущем елучае, обоз- 
начим оптимальную решающую функцию 6, (2|х). Сум- 
марные потери для модели с такой решающей функцией 
при данных значениях х, 0 и и определяются формулой 
(61). Продолжая последовательно идею минимаксного 
подхода, будем вести расчет при неизвестных 0.ии на 
наихудший случай, т. е. по максимальным суммарным 
потерям | 


0, (х) = и в: 6). (64) 


9ЕВ(1) 


Если решение о получении дополнительной информации 
принимается до того, когда становится известным х, то 
величина о,(х) должна быть заменена величиной 


0, = зир зир К (6, |х, и, 0). | (65) 


Хх» и ОЕБВ (и) 
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Задача определения. оптимального ‘состава и объема 
информации в этом случае сводится к минимизации ве- 
личины (64) или (65) путем выбора состава и размерно- 
сти вектора и. 

Улучшение качества решения путем ввода в модель 
дополнительной информации — вектора и — представляет 
собой обучение модели решения. Оптимизация процесса 
обучения достигается минимизацией одного из выраже- 
ний (62) —(65) в зависимости от метода построения мо- 
дели и условий ее применения (обучение до применения 
или обучение в процессе применения после наблюдения 
каждого очередного значения Хх). Бейесов подход к про- 
блеме обучения автоматических систем развит в [75—80]. 

Кроме рассмотренных подходов к обучению модели 

принятия решений, возможны и другие подходы, осно- 

`°ванные на различных методах оценивания неизвестных 
параметров. В связи с этим возможны и другие поста- 
новки и методы решения задачи оптимизации процесса 
обучения модели. 

Кроме рассмотренных задач оптимизации без ‘ограни- 
чений, в теории решений возникают задачи оптимизации 
решений при различных ограничениях. Ограничения 
могут накладываться на множество допустимых решений, 
как в примере 15, или на область допустимых значе-. 
ний 2, или на какие-либо другие функции вида $ (2|х) 
(например, на другие координаты векторного риска). 
Методы решения таких задач также разрабатываются в 
современной теории решений. - 


ПРИЛОЖЕНИЯ 


‚ 1. Импульсная дельта- функция и ее производные 


Неба прийти к понятию импульсной б-функции путем предель- 
- ного перехода, рассмотрим лы 


Вы — а [1% <Ь (1) 
О. при |х|-> /[. | 
Эта функция называется в приложениях НЫЕ прямоугольным 
импульсом. 
Очевидно, что при любом & > [ 


8 0 
('&, (х) 4 (в (х) ах=5. | (2) 
р | 


Пусть Фф (х) — любая непрерывная р - Вычислим интегралы 
. 


\ Ф (х) 61 (и —х) ах, ( ф (х) 6, (х— и) ах. 
а а 
На основании (1) при любом нЕ (а-- 1, 8—1 


и+1 


1 
рн Сонисан | ф (х) ах. 
и-—{ 


а к последнему интегралу теорему о среднем, получим 
Ь Ь к 


\х (х) 6: (и — х) ах= ) (х) 9: (х— и) ах=Ф (хо), (3) 


где х@(и—1, и--П. При т и (а—1, Ь-- [) оба интеграла 
равны те Наконец, 


( оыяе-э 4х в Фан-д4=59(9), 
ео "Ъ | | (4) 
| (х) 0, (6 —х) «= Ф (х) 6, (х— 6) 4%=5) ф (ж), 


а а 
где х (а, а-+ 0), Е 6—1 5). 2% 
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Перейдем теперь в предыдущих формулах к пределу при 1—0. 
Ясно, что 0,(х) при этом не имеет предела в обычном смысле. 
Однако все интегралы в (3) и (4) имеют вполне определенные пре- 
делы. | 

Рассуждая формально, приходим к выводу, что 0 (х) =0 при 
любом х 72 0, 6 (0) = ®, причем площадь «всплеска» в бесконечность 
функции 0 (х) в начале координат равна 1. Ясно, что 6 (х) не суще- 
ствует как обычная функция. Она относится к классу обобщенных 


функций. 
Формальный переход к пределу в (3) и (4) при Г —0 дает 
Ь 6 
\ ф (х) 6 (и —х) ах \ ф(х) 6 (х— и) ах==ф (и), нЕ(, 6), (5) 
а а | | 


Ь Ь 

| (х) 6 (а—х) ах= \‹ (х)б (х— а) = (а), 
р й (6) 
\ (х) 8 (6 —х) и | ф (х) 6 (х— В) 9 (5). 


При нЕ [а, р] сба интеграла в (5) равны 0. 


Положив в первой формуле (6) а=0, В==, а во второй а==— а, 
Ь —=0, получим при Ф (х) == | 
8 . 0 
| (х) ах = \ © (х) = при любом &> 0. (7) 
0 _= 


Функция 6(х) представляет собой предел функции 81 (х) при 
[—0 в том смысле, что для любой непрерывной функции Ф (х) 


(9 од 4х = ит \ в ха. 


В таких случаях говорят, что 6; (х) слабо сходится к 6 (х) и 6 (х) 
представляет собой слабый предел функции 6; (х). _ 

Таким образом, обобщенную функцию 6(х) можно определить 
совершенно строго как слабый предел обычной функции 06, (х). Так 
определенная функция 0 (х) называется импульсной дельта-функцией. 
или, короче, д-функцией *). Формулы (5), .(6) и (7) представляют 
собой определяющие свойства дб-функции. 

Заметим, что интегралы в (5)—(8) по определению’ представляют 
собой пределы соответствующих интегралов, содержащих функцию 
6; вместо 6б-функции, при /—+0. Только так следует понимать 
интегралы от обобщенных функций. 

Из (5) и (6) при Ф(х) =1 следует, что интеграл от 6-функции 
в пределах от — с до и представляет собой единичную ступенча- 


*) Дельта-функция была впервые введена в науку известным 
английским физиком Дираком. Поэтому ее часто называют дельта- 
функцией Дирака. 
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тую функцию: 
О при и<О0, 


|} боди ИО при и= 0, ` (9) 
| при и>0. к. 


Отсюда следует, что б-функция представляет собой ‘производную 
единичной ступенчатой функции. 

Совершенно так же, взяв четную функцию 6, (х), имеющую не- 
прерывные производные до порядка р включительно, определим 
производную 6-функции порядка р как слабый предел функции 
6>(х). При этом для любой функции Ф (х), непрерывной вместе со 
своими производными до порядка р включительно, будет справед- 
лива формула | 


} 909) 5% сд ах=(-ЮР | 998 д ах=(-ПРФФ (0). (10) 


Эту формулу можно принять за определение р-й производной 


б-функции. 
Из (10) следует, что для любого иЕ(а, В) и для любой функ- 
ции Ф (х), непрерывной вместе со своими ОЗОН до порядка р 


включительно, 


Ь Ь 
\ Ф (х) 5 (и—х) ах=(-—ПР \ч (252 и—шах=ФР (и. (п) 


Эти формулы получаются также из (5) формальным дифференциро- 
ванием по и. Таким образом, в интегралах, содержащих б-функцию 
или ее производные, можно выполнять дифференцирование по пара- 
метру под знаком интеграла сколько угодно раз. 

Аналогично определяется 0-функция векторного т 
Очевидно, что б-функцию векторного аргумента х={х1, +... Хх} 
‚ можно определить как произведение б-функций всех координат 
вектора х: 


6 ()=6 (х1)..-6 (0). — | (12) 


_ Так как б-функция в силу (7) обладает свойством (2.11) плот- 
ности, то ее можно рассматривать. как слабый предел любой четной 
плотности при стягивании Демо ею распределения в начало 
координат: 

6 (х) = Шт #Р (#2), (13) 
й> | 


где /(у) — любая плотность. 

В приложениях часто приходится пользоваться представлением 
б-функции интегралом Фурье. Чтобы выразить 6б-функцию интегра- 
лом Фурье, заметим, что любая непрерывная функция Ф (х), отлич- 
ная от нуля только на некотором конечном интервале, может быть 


представлена интегралом Фурье: 


Фи) =5- | АХ | ф (х) ей “— ах. 


_© _-® 
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Изменив здесь формально порядок интегрирования, получим 


{®*) {®.*) 
| ‚ Ф (и) = \ Фф (х) =. \ е!\. к Ал | ах. . 
—_<© <) 
Сравнив эту формулу с (5) при а=—®, 6=® и приняв во 


внимание, что обе формулы справедливы для любой функции фФ (х). 
рассматриваемого типа, приходим к выводу, что 


до | ам. | | — (4 


Повторив эти рассуждения для случая вёкторного аргумента х, по- 
лучим представление 6-функции П-мерного вектора х интегралом 
Фурье: | 


Пе \ еАТх 4), (15) 


где векторы х и А представлены в виде матриц-столбцов. Эта фор- 
мула получается также из (14), если выразить 6-функцию вектора х 
формулой (12). 

Интегралы в (14) и (15) расходящиеся. Ясно, что’ 6-функция не 
может выражаться сходящимся интегралом, так как любой сходя- 
щийся интеграл, зависящий от ‘параметра, представляет собой обыч- 
ную функцию этого параметра, в то время как 6б-функция представ- 
ляет собой обобщенную функцию. 


2. Некоторые определенные интегралы 


При изучении нормального распределения приходится пользо- 
ваться формулами | 


- Е а и 
| еды ее (1) 
[6 к 
от. РИ И 
у 2-=-= Ё С он --Ш С7!1 
| е | ЧЁ = Е 2“ : (2) 


где \и—в общем случае комплексная величина (скалярная в (1) и 
векторная в (2)), с комплексная величина с положительной дейст- 
вительной частью, С —симметричная матрица с комплексными эле- 
ментами, действительные части которых образуют строго положи- 
тельно определенную матрицу, |С | — определитель матрицы С. 

Для вывода формулы (1) применим метод дифференцирования 
интеграла по параметру. Для этого положим 
р -— 61? 
о 


1 (1) = | е АЕ. 


- 
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Дифференцируя эту формулу по параметру \ и интегрируя по’ час- 
тям, получаем 


со 1 1 > 
с ые ОЙ 
Г () = ( ве" 72° #=-—— ги ФЗ?” = 1 | е" ат, 
8 | — © -® | 


или 


Г (= 1 (9. (3) 


Таким образом, мы получили дифференциальное уравнение для / ('). 
Чтобы полностью определить / (1), необходимо добавить к уравне- 
нию (3) начальное условие. Для определения начального условия 
достаточно вычислить интеграл / (1) для какого-нибудь одного зна- 
чения параметра 1. Проще всего вычислить 


© 1 
м: [ды 
1 (0) = \ е ? 4. (4) 
-®х : 
Так как этот интеграл не зависит от обозначения переменной интег- 
рирования, то формулу (4) можно также ‘написать в виде 
ря и 652 | 
1(0)= \ е в. . (5) 


_<© 


Перемножая почленно равенства (4) и (5), получим 


1 
—— С? ——- $2 
12 (0)= \е ? 4 е 45 = 
р 
® (® _1 \ _ 1 м, -ю 1 (1253) 
ыы \ |1 2 и 2 = \ бе 2 41 43. (6) 
© -_< © -о 


Рассмотрим сначала случай действительной (а следовательно, поло- 
жительной) величины с. В этом случае двойной интеграл (6) легко 
вычисляется переходом к полярной системе координат. Положив 


Ус #=0с0$ ф, Исз=рзшф 


и имея в виду, что | | | . 
о О Ра 
др. 0$ _ №. 
— а. ы чп ф с03 пе 
др 9$ У у 
получим МЕ 
ъ к 3 2 : 
[2 0 \ аф |. и В 
( [# 
0 0 
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Отсюда находим 


(.) 1 о 
ый 
1(0) = |. 2-1 т, (7) 
—® 


Рассмотрим теперь случай комплексной величины с. Положив 
с=|с|е®, {=е`‘/?т, приведем интеграл (4) к виду 


_По=е ? \ е? (8 


где интегрирование производится по прямой комплексной плоскости, 
проходящей через начало координат под углом ф/2 к действитель- 
ной оси. Для вычисления полученного интеграла рассмотрим на 
тт | комплексной плоскости перемен- 
| ре ной т замкнутый контур, состоящий 
из отрезка действительной оси 
(0, Ю), дуги окружности (Ю, Ве?) 
радиуса Ю и отрезка‘ (Ве/?, 0) 
прямой, по которой производится 
интегрирование в (8) (рис. 38). Так 
как подынтегральная функция яв- 
= ляется аналитической функцией, не 
^^ К] имеющей особых точек в области, 
_ Рис. 38. ограниченной этим контуром, то ин- 
теграл по’этому контуру равен 0 
при любом К. А так как Ке {с} > 0 и, следовательно, |ф|! < л/2 и 
Ве {12} > 0, то интеграл по дуге окружности (Ю, Ве /?) стремится 
к О при Ю — о. Поэтому при К —+ < получаем равенство 


1 
вое Е: 
\е ат-- \ е Чт =0, 
(р / 
0 хе Ф/?2 
откуда следует, что 
1ф/2 
1 
ое р че 
\ е ат \е ат. 
0 | 
Аналогично приходим к выводу, что 
о = пет . ор 
е атЕЕ \ е ` ат. 
ве — © 
Следовательно, 
др |) м 
—— |511? 512 [12 
Дт = \е ат. 
а ФИ _® 
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Подставив это выражение в (8) и пользуясь формулой (7), получаем | 


1ф ЕЩЕ а бы : А 

а - 2л 2л 2л 

О) =е * и И =уИ =. 
В [с] ’ [се с 


Таким образом, формула (7) справедлива и для любого комплекс- 
ного с с положительной действительной частью. 

Интегрируя дифференциальное уравнение (3) при начальном 
условии (7), получаем | 


что и доказывает формулу (1). 

Для доказательства формулы (2) приведем матрицу С ортого- 
нальным преобразованием к диагональной форме. В результате по- 
лучим АТСА=Л, где А—диагональная матрица, элементами кото- 
рой служат собственные значения А, ..., Ан матрицы С (п— раз- 
мерность вектора Ё в (2) и порядок матрицы С), а А — ортогональ- 
ная матрица АТА =/. Преобразование = АЁ {{=А$ дает 
172 = ТАТА; = {Т5, ГСЕ=5ТАТСА5;=5ТАз, и интеграл (2) приво- 
дится к виду (с учетом равенства | А | =1) | 


| 
\ е а = \ е = ] ] \ е 5х. 
— < — © К=1 -ю 


Таким образом, интеграл (2) приводится к произведению интегра- 
лов (1). Пользуясь формулой (1), находим 


[© 
РЕ 
А --— # РС! (л)л А Тд-1 
е . а = ще? . 
1. . ‚Ай 
_® 


Подставив сюда выражение Е =А-1\ =АТи и имея ввиду, что про- 
‚изведение собственных значений матрицы равно ее определителю, 
Л1...Ав=|С и что АЛ-1АТ=(АЛАТ)-1=6С-1, получаем фор- 
мулу (2). | | 


3. Таблицы’ 


Таблица 1 


п 
тг: 
0 


0040 
0438 
0832 
1217 
1591 
1950 
2291 
2611 
2910 
3186 


3437 
3665 
3869 
4049 
4207 
4345 
4463 
4564 
4649 
4719 


‚47778 
48257 
48645 
48956 
49202 
49396 
49547 
45654 
49752 
49819 


© 00 -2 > © Н> о во == © 


з * э `- з С” з ыы 


* 


хз 


“ 


2 


47725 
48214 
48610 
48928 
49180 
49379 
49534 
49653 
49744 
49813 


> ю<Фочефлыьышю о 


ь хх о о 2 


ьамююЕю-аювююЕа === = ан ооо 


; 
* *, ‘% * ь 


© 96 1 © блн 


3 0.49865] 49903 


0,499968 
0,499997 


4,0 
4,5 
5,0| 0,49999997 
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0080 
0+78 
0371 
1255 


1628 


1985 
2324 
2642 
2939 
3212 


3461 
3686 
3888 
4066 
4222 
4357 
4474 
4573 
4656 
4726 


47831 
48300 
48679 
48983 
49224 
49413 
49560 
49674 
49760 
49825 


49931 


4082 


14654 


0279 
0575 
1054 
1443 
1808 
2157 
2486 
2794 
3078 
3340 


3577 
3790 
3980 
4147 
4292 
4418 
4525 
4616 
4693 |4699 14706 
4756 |4761 |4767 


47981148030148977|48124|48169 
48422|48461148500,48537|48574 
18778|48809|48840]48870]48899 
4906114998649 11 1149135149158 
49286149305]49324|49343]49361 
49461149477|49492149506]49520 
49597149609149621149532149643 
49702149711149720]49728]49736 
49781149788|49795149801149807 
49841149846149851149856149861 


0319 
0714. 
1103 
1480 
1841 
2190 
2517 
2823 
3106 
3365 


3599 
3810 
3597 
4162 
4306 
4429_ 
4535 
4625 


0359 
0753 
1141 
ТИ 
1879 
2224 
2549 
2852 
13133 
3389 
3621 
3830 
4015 
4177 
4319 
4441 
4545 
4633 


0120 
0517 
0910 
1293 
1664 
2019 
2357 
2673 
2967 
3238 


3485 
3708 
3907 


0160 
| 0557 
0948 
1331 
1700 
2054 
2389 
2703 
2995 
3264 [3289 


3508 
3729 
3925 |3944 
4099 14115 
4251 
4382 
4495 14505 
4591 
4671 
4738 


47932 
48382 
48746 
49036 
49266 
49446 
49585 
49683 | 49693 
49767 | 49774 
49831 | 49336 


4236 
4370 
4484 
4582 


4732 


47882 
48341 
48713 
49010 
49245 
43430 
49573 


49952 | 49966 |49977149984149989149993149995 


о 


о ыы а - 


ооо еее 


= — = — — — — — — — 
з 


р С. С 


С > <> ©> <> > 6 >> зв юБзюююРю 


Производные функции Лапласа 


1 
Функция Ф’ (и) = и е- и? 12 


Таблица 2 


‘Таблица 2 (продолжение) 
Производные функции Лапласа 


о < о 


* 


« 


С х* ьз з 


и дд ФФ 
®оюЯфе льюфь о 


о 


Фо -о лы 


з 


— ыы — = = 
2 2 


* х з 


шо, ФФ лы фон © 


>> бое бля шв, 


ра 


а 


< 


ыюыдюмом шфофюдм фо мюмюмю ннаны ны 


«(У (и) 


Ф’ (и) Ф” (и | Ф’’' (и) ФИУ) (и) ФУ (и) 


0,3989] 0,0000]—0,3989| 0,0000|--1,1968] 0,0000|-5,9841 
--0,3970|-—0,0397|—0,3930|--0,1187|-1-1,167!|-=0,5915|-—5,7768 
--0,3910|—0,0782|—0,3754|-10,2315|--1,0799]-—1 ,1420|-—5,1711 
--0,3814|-—0,1144|-—0,3471|-+0,3330|--0,9413|-=1,6142|-4,2223 
--0,3683|—0,1473|-—0,3094|--0,4184|--0,7607|-—1,9777|-—3 ‚0129 
+-0,3521|--0,1760]—0,2641--0,4841|--0,5501|-—2,2114—1,6448 


--0 ,3332|—0 ,1999—0,2133|-=0,5278|--0,323|—2 ‚3052|—0 ,2324 
+0,3122|—0,2186|—0 ,1593|--0 ,5486|--0 ,0937|—2 ‚2601 --1,1136 
—-0,2897|—0, ‚2318 ==. 1043|--0,5469|—0,1247|—2 ‚0880 2,2938 
—-0,2661|—0,2395|—0,0506]--0,5244 —0,3203 —1 ,8095|-3,2303 
+ 0,2420|—0, ‚2400 0,0000|-{-0,4839|-—0 ‚48391—1, ‚4518 --3,8715 


4-0,2179|-—0,2396|--0,0458|-10,4290]—0,6091|-—1,0458|+-4 ‚1959 
40 ’1942|-0,2330|-+-0,0854|--0,3635|-—0 ,6926|—0,6230] +4 '2103 
+-0,1714|-—0,2928|-1-0,1182|--0,2918|-0,734!|-—0,2130]--3 ,9475 
4-0,1497|-—0,2096|-+-0.1437|--0,2180|-—0,7364|--0,1590]--3’4595] 
40’1295|-—0,1943|--0,1619|--0,1457|-—0,7042|--0,4736]--2’8109 


40, 1109|-—0,1775|--0,1730]--0,0781|-—0,6440|-1-0,7181--2 ,0712 
4-0’0940|—0,1599|--0,1777|--0,0176/—0,5632|--0,8870]--1 ,3078 
40 0790]—0,1421|--0,1769|-—0,0341|-—-0,4692]-|-0,9809]-+-0,5801 
4-0’0656|-—0,1247|--0,1713|-—0,0760|-—0,3693|--1 ,0058|-0 ,0647 
40'0540|-—0,10801--0,1620|-—-0,1080|-—0,2700]--0,9718|-—0'5939 


—-0,0440|1—0,0924|--0,1500|]—0, 1302|—0 ‚1765!--0,8915|—0 ‚9899 
--0,0355|—0 ,0780]--0,1362|—0, 1436|—0 ,0927|-|.0 ,7784|—1 ‚2488 
-0,0283|1—0 ,0652|--0,1215|-—0, 14921 —0,0214|-|-0 ,6460]—1 ‚3788 
—-0,0224|—0,0538|--0 ,1066|]—0, 1483|--0 ,0362|+{-0 ‚,5064|-—1,3965 
--0,0175|—0,0438|--0,0920]—0, 1424 |-|-0,0800]--0,3697|—1,3242 


+0,0136]—0 ‚0353 --0,0782|—0,1328|--0,1105|--0,2438|—1 , 1864 
{0,0194|—0, ‚0281 --0,0656 ны. 1207|---0 , 12931--0 , 1338|—1 0076 
--0,0079|]—0,0222]--0,0541|—0 , 1073|--0 , 13791-Е0 ‚,0429|—0 ,8097 
0 ,0060]—0 ‚0173 —-0,0441—0, ‚0934 0,1385 —0,0281|—0, 6110 
40,0044 —0, 0133 --0,0854|—0,0798|--0,13301—0,0798|—0,4254| 


+-0,0033|—0,0101|--0,0281|-—0,0669]--0 ,1231|-=0,1140]—0,92624 
4-0,0024|—0,0076|--0,0220]-=0,0552|--0,1107|-—0,1332|-—0,1271 
--0,0017|—0,0057|--0,0170|-—0 ‚0444|--0,0969|-—0,1404]|—0,0213 
40,0012]--0,0042|--0,0130|-0,03591--0,0829|-=0 ‚1384|--0 ,0561 
0,0009] —0,0030]--0,0098|-—0,0282|--0,0694|-—0,1300]--0,1078 


+-0,0006|-—0,0022|--0,0073|--0,0219-+-0,0570|-0,1176--0,1380 
4-0”0004|—0,0016|--0,0054|-—0,0168|--0”0460|-—0,1030--0”1510 
4-0'0003|—0,0011|--0,0039|--0,0127|--0’0365!-—0,0878|-+-0° 1512 
40,0002\—0,0008|--0,0028|-—0,0095|--0,0284|-—0 ,0730]-+0, 1496 


40,0001 —0,0005 —-0,0020 —0,0070 --0 ‚0218 —0,0594 --0,1286 
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Таблица 3 


{7 
Двусторонние границы Т-распределения: значения {«, определяемые уравнением \ 5 (#) &=а 
7 } — 
% 


1 10,158 | 0,325 [0,510 | 0,727 | 1,000 | 1,376 | 1,963 | 3,078 | 6,314 |12,706 | 31,821 | 63,657 | 636,619 
2 142 289 445 617 | 0,816 | 1,061 | 1,336 | 1,886 | 2,920 | 4,303 | 6,965 | 9,925 | 31,5981 
3 137 р 424 584 765 | 0,978 | 1,250 | 1,638 | 2,353 | 3,182 | 4,541 | 5,841 | 12,941 
4 134 271 414 569 741 941 11,1590 |1,533 | 2,132 | 2,776 | 3,747 | 4,604 8,610 
5 132 267 408 559 зат 920 | 1,156 | 1,476 | 2,015 | 2,571 | 3,365 | 4,032 6,859 
6 131 265 404 553 г 2468 906 | 1,134 | 1,440 | 1,943 | 2,447 | 3,143 | 3,707 5,959 
7 130 263 402 549 711 896 | 1,119 | 1,415 | 1,895 | 2,365 | 2,998 | 3,499 | ›5,405| 
8 130 262 399 246 706 889 | 1,108 | 1,397 | 1,860 | 2,306 | 2,896 | 3,355 5,041 
9 129 261 398 543 703 883 | 1,100 | 1,383 | 1,833 | 2,262 | 2,821 | 3,250 4,781 | 
10 | 129 260 397. 542 700 879 | 1,093 | 1,372 | 1,812 | 2,228 | 2,764 | 3,169 | 4,587 
1 129 260 396 | 540 697 876 | 1,088 | 1,363 | 1,796 | 2,201 | 2,718 | 3,106 4,487 
| _ 395 539 695 873 | 1,083 | 1,356 | 1,782 | 2,179 | 2,681 | 3,055 | 4,318] 
394 238 694 870 | 1,079 | 1,350 | 1,771 |`2,160 | 2,650 | 3,012 4,221 
393 537 692 868 | 1,076 | 1,345 | 1,761 | 2,145 | 2,624 | 2,977 4,140 | 
393 536 691 866 | 1,074 | 1,341 | 1,753 | 2,131 | 2,602 | 2,947 4,073 | 
392 535 690 865 | 1,071 | 1,337 | 1,746 | 2,120 | 2,583 | 2,921 4,015] 
392 534 689 863 | 1,069 | 1,333 | 1,740 | 2,110 | 2,567 | 2,898 3,965 
392. 534 688 962 | 1,067 | 1,330 | 1,734 | 2,103 | 2,552 | 2,878 3,922 | 


ТАУ 


688 
687 
686 
686 
685 


_ 685 


684 
684 
684 
683 
683 


| 683 


681 
679 
677 
674 
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0,98 


_0,99_ 


2,861 
2,845 
2,831 


‚2,819 


2,807 
2,197 
2,787 


2.779 
2.771 


2,163 
2,156 
2; 750 
2,704 
2,660 
2,617 


‚2.976. 


0,999 


3,883 


`3,850 | 


3,819 
Г", 
3,767 
3, 745 


3,125 


3,107 
3,690 ^ 
3,674 
3,659 
3,646 
3,551 
3,460 
3,373 
3,291 


Таблица 4 


Двусторонние границы Х?-распределения: значения &х, 
определяемые уравнением 


ТЫ кан = тах (1 —8«, 0). 


(1-24 
ре (г) 4г = а, *) 
в 1+ е)* 
|@2 
0,5 0,6 0,7 0,8 0,9 0,95 | 0,93 | 0,99 |0, 999 
[. 
1 10,568| 906 .11,602 |2,946 | 6,923° 
2 367| 473 |0,678|1,125|2,086 13,400 15,857 | 8,500 
3 290| 370 482 | 0,730 | 1,270 | 1,932 | 3,00014,200| 9,00 
4 248 | 306 398| 563|0,94111,382 | 2,056|12,700 | 5,00 
5 221| 277 348| 475| 7381 1,104 | 1,594 | 2,000 13,80 
6 200| 251 308| 416| 62310,91811,306 | 1,650 13,00 
7 185 | 232 290| 380| 576| 800] 1,143 | 1,393 | 2,50 
8 173| 216 269| 354| 516| 713| 0,986 | 1,225 | 2,05 
9 162| 202 252| 329| 476| 650| 889| 1,094 | 1,75 
10 153| 192 239| 304| 442| 596| 81410,98011,50 
12 140 | 176 218| 276| 388| 527| 700| 84011,30 
14 130| 162 |. 290| 252| 357| 468| 620| 740|1,14. 
16 122 | 150 188| 236| 325| 422| 564| 671] 1,02 
18 115| 143 177| 223| 297| 390| 500| 60010,92 
20 108 | 136 168| 210| 282| 370| 480| -567| 85 
25 096| 122 148| 187| 247| 317| 408| 485| 70 
30 088 | 111 137| 172| 226| 281| 369| 425| 60 
35 085 |. 101 127| 156| 207| 261| 347| 400| 56 
40 076 |. 095 119] 146| 193| 242| 312| 375| 52 
45 071 | 089 112| 139| 184| 228| 288| 350| 48 
50 | `068| 084 105| 133| 174] 212| 270| ЗИ| 45 
60 062| 077 0951 122| 155| 193| 242| 283| 40 
70 057| 072 088| 112| 145| 180| 222| 2501] 37 
80 054| 067 082| 103| 138р 167| 200| 236| 35 
90 051| 063 078 | . 0961 131 151 192 220] * 32 
100 048 | 060 074! 092| 125| 146| 184| 2001 30 
150 040| 050 060| 075| 096| 1251 146| 167|0,225 
200 034 | 042 053| 065| 084| 100| 1331 144| 190 
250 031| 038 048| 058| 076| 091 115| 135| 175 
500 022| 028 031| 041| 054| 064] 077| 085] 125 
1000 016| 019 025| 037| 044| 047| 056| 059| 080 
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Таблица 5 


Ко 


Верхние 100 (1—0) %-ные точки /?-распределения: значения {> , определяемые уравнением Рк(х?)= \ ре (2) 42 = @& 
| | | , 


а | | | 
ь% 0,01 0,02 0, 05 0,10 0,20 0,30 0,50 0,70 0,, 80 0,90 0,95 0,98 10,99 | 0,999 
| | | | р 


1 0,000 | 0,0011 0,004| 0,016 | 0,064 | 0,143| 0,455 | 1,0741 1,642| 2,71 3, 84 5,41 | 6,64 | 10, 83 
р. 0,020] 0,040| 0’т0з| 0,211| 0,446| 0,7131 1,386 | 2,41 3,99 4,60 5,99 7,82 | 9,21 | 13,82 
3 0,115 | 0,185 | 0’350| 0,584] 1,005| 1,424] 2,37 3,66 4,64 6,25 7,82 9,84 |11,34 | 16,27 
4 0,297 | 0,4291 0,71:| 1,064 | 1,649| 2,20 3,36 4,88 5,99 7,78 9,49 | 11,67 |13,28 | 18,46 
5 0,554 | 0,752| 1,145] 1,610] 2,34 3,00 4,35 6,06 7,29 9,24 | 11,07 | 13,39 | 15,09 | 20,5 
6 0,872| 1,134 | 1,635| 2,20. | 3,07 3,83 5,35 7,23 8,56 10,64 | 12,59 | 15,03 | 16,81 | 22,5 
7 1,239 | 1,564| 9’]7 2,83 3,820 4,67 6,35 8,38 9,80 | 12,00 | 14,07 | 16,62 | 18,48 | 24,3 
8 1,646 | 2,03 073 3,49 4,59 5,53 7,34 9,52 |11,03 | 13,36 | 15,51 | 18,17 |20,1 |96,1 
9 2,09 2,53 3 32 4,17 5,38 6,39 8,34 |10,66 |12,24 | 14,68 | 16,92 | 19,68 |21,7 | 27,9 
10 2,56 3,06 3,94 4,86 6,13 Ты 9,34 |11,78 |13,44 15,99 | 18,31 | 21,2 |93,2 [29,6 
11 3,05 3,61 4,58 5,58 6,99 8,15 |10,34 |12,90 |14,63 |. 17,28 | 19,68 | 22,6 [24,7 |31,3 
12 3,57 4,18 5.23 6,30 7,81 9,03 |11,34 [14,01 | 15,81 18,55 | 21,0 24. |269 130,9 
13 4,11 4,76 5,89 7, 04 8,63 9,93 |12,34 |15,12 |16,98 | 19,81 | 22,4 95.5 |2 Г 134.5 
14 4,66 |.5,37 6,57 7,79 9,47 |10,82 |13,34 |16,22 [18,15 | 91,1 23,7 26,9 |29,1 |36,1 
15 5,23 5,98 7,26 8,55 [10,31 |11,72 |14,34 |17,32 |19,31 02,3 25,0 28,3 130,6 |37,7 
16 5,81 6,61 7,96 9,31 |11,15 |12,62 |15,34 |18,42 |20,5 23,5 26,3 29,6 |32,0 |39,3 
17 6,41 7,26 8,67 |10,08 |12,00 |13,53 |16.. 34 |19,51 |21,6 24,8” | ЭТ 6 31,0 |33,4 |40,8 
18 7,02 7,91 9,39 |10,86 | 12,86 |14,44 |17,34 |20,6. |22,8 25 0 28,9 32,3 |34,8 | 42,3 
- 19 7,63 8,57 |10,12 [11,65 |13,72 |15,35 |18,34 |21,7 23,9 27,2 30,1 33,7. |36,2 |43,8 
20 8,26 9,24 |10,85 |12,44 |14,53 |16,27 |19,34 |22,8 95 ,0 28,4 З1, 4 35,0 |37,6 |45,3 
21 8,90 9,92 |11,59 |13,24 [15,44 117,18 |20,3 23,9 26,2 29,6 ко 36,3 |38,9 |46,8 
9,54 |10,60 |12,34 |14,04 |16,31-| 18,10 |21,3 24,9 27,3 30,8 33,9 37,7 |40,3 | 48,3 
10,20 |11,29 |13,09 |14,85 [17,19 [19,02 |22,3 26,0 28,4 32,0 35,2 39,0 |41,6 |49,7 
10,86 |11,99 |13,85 |15,66 |18,06 |19,94 |23,3 91 29,6 33,2 36,4 40,3 |43,0 |51,2 
11,52 | 12,70 |14,61 |16,47 |18,94 |20,9 24,3 28,2 30,7 34,4 37,7 41,6 |44,3 |52,6 
12,20 |13,41 |15,38 |17,29 |19,82 |21,8 |25,3 20,2 31,8 35,6 38 ,9 42,9 |45,6 |54,1 
12.88. 114,19 116.16 |181 |90,7 рН 26,3 30,3 32,9 36,7 40,1 44,1 |47,0 |55,5 
13,56 |14,85 |16,93 |18,94 121,6 23,6 27,3 31,4 34,0 37,9 41,3 45,4 |48,3 |56,9 
14,26 |15,57 |17,71 |19,77 |229,5 24,6 28, 3 32,5 35,1 39,1 42,6 46,7 |49,6 |58,3 
14,95 116,31 118,49 120,6 28,4 195.5 29,3 33,5 36,2 40,3 43,8 48,0 150,9 159,7 
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> © 00 15 сл № 
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Таблица 6*) 


Верхние 5%-ные и 1%-ные точки Р-распределения: 
значения [о», определяемые уравнением 


Значения /о,55 (верхние 5%-ные точки) ^ 


||| в | 24| © 


18,51 
10,13 
7,71 
6,61 
5,99 
5,59 
5,32 
‚ 5,12 
4,96 
4,84 


‚4,75 


19,00 


9,55] 


6,94 
5,79 
5,14 
4,74 
4,46 
4,26 
4,10 
3,98 
3,88 
3,80 
3,74 
3,68 
3,63 


3,591. 


3,55 
3,52 
3,49 
3,47 
3,44 
3,40 
3,40 
3,38 
3,37 
3,35 
3,34 
3,33 
3,32 
3,23 
3,15 
3,07 
2,99 


19, | 6 
9,28 
6,59 
5,41 


4,76 


19,25 
ны 
6,39 
5,19 
4,53 


_ 4,12 


3,84 
3,63 
3,48 
3,36 
3,26 


19,30 
9,01 
6,26 
5,05 
4,39 
3,97 
3,69 
3,48 
3,33 


19,33 
8,94 
6.16 
4,95 
4,28 
3,87 


19 


*) Эта таблица заимствована из [35]. 


161,40]199,501215,70]224,601230,20]234,001238 ‚90]243 ‚901249 ‚001254 ,30 
37| 19 


19,45] 19,50 


8,64 


< ь 2 С < 


юю<ФФ=Фо о 


< 2 о 
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2 о 


сл д юфюфюю 


2 


[55 


=юф<юою хо фиИощофФ+Ф‚Оон-аФ< 


8,53 
5,63 
4,36 
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Таблица 6 (продолжение) 


Значения До, (верхние 1%-ные точки) | 


_ ааазоаыемтиий 


| ННЕЕЕЕЕЕЕ 


| 4052 | 4999 | 5403 |- 5625 | 5764 | 5859 | 5981 | 6106 | 6234 | 6366 
2| 98,49 | 99,00 199,17 | 99,25 | 99,30 | 99,33 | 99,36 |99 ,42199 , 46199,50 
3] 34,12 | 30,81 | 29,46 | 28,71 | 28,24 | 27,91 | 27,49 |27 ,05|26 ‚60126,12 
4] 21,20 | 18,00 | 16,69 | 15,98 | 15,52 | 15,21 | 14,80 |14,37113 ‚9313 ‚46 
5] 16,26 | 13,27 | 12,06 | 11,39 | 10,97 | 10,67 | 10,27 | 9,89] 9,47| 9,02 
6 
7 
8 
9 


13,74 | 10,92] 9,78| 9,15| 8,75| 8,47| 8,10| 7,72] 7,31 6,88 
12,25 | 9,55| 8,45| 7,85| 7,46| 7,19| 6,84] 6,47| 6,07| 5,65 
11,26| 8,65| 7,59| 7,01| 6,63] 6,37| 6,03| 5,67| 5,28| 4,86 


10,56| 8,02| 6,99| 6,42| 6,06| 5,80| 5,47| 5,11| 4, 73| 4,31 
10] 10,04 | 7,56| 6,55| 5,99| 5,64| 5,39| 5,06| 4,71| 4,33] 3,91 
11| 9,65| 7,20| 6,22| 5,67| 5,32| 5,07| 4,74| 4,40] 4,02] 3,60 
12| 9,33| 6,93| 5,95| 5,41| 5,06| 4,82| 4,50| 4.16 3,78] 3,36 
13| 9,07| 6,70| 5,74| 5.20| 4,86| 4,62| 4,30| 3,96] 3,59] 3,16 
14| 8,86| 6,51| 5,56| 5’03| 4,69| 4,46| 4,14| 3,80] 3,43] 3,00 
15| 8,68| 6,36| 5,42| 4,89| 4,56| 4,32| 4,00| 3.67 3,29] 2,87 
16] 8,53| 6,23| 5,29| 4,77| 4,44| 4,20| 3,89| 3,55] 3,18] 2,75 
17| 8,40| 6,11| 5.18| 4,67| 4,34| 4.10| 3.79| 345] 3.08] 2.65 
18| 8,28| 6,01| 5,09| 4,58| 4,25] 4,01| 3.71| 3,37| 3,00] 2,57 
19] 8,18| 5,93| 5.01| 4,50| 4.17| 3.94| 3,63| 3.30] 292] 2.49 
20] 8,10| 5,85| 4,94| 4,43| 4.10| 3,87| 3,56| 3,23] 2,86] 2.42 
21| 8,02| 5,78| 4,87| 4,37| 4,04| 3,81| 3,51 | 3,17 2,801 2,36 
29| 7,94| 5.72| 4.82| 4,31| 3,99| 3,76| 3’45| 3,12] 2.75] 2,31 
23| 7,88| 5.66| 4.76| 4,26| 3,94| 3,71| 3,41| 3,07| 2.70] 2.26 
24| 7,82| 5,61| 4,72| 4,22| 3,90| 3,67| 3,36| 3,03| 2,66] 2,21 
25| 7,77| 5,57| 4,68| 4,18| 3,86| 3,63| 3,32| 2'99 2,62] 217 
26| 7,72| 5,53| 4,64| 414| 3,82| 3,59| 3,29| 2,96] 2,58| 2,13 
27| 7,68| 5,49| 4,60| 4,11| 3,78| 3,56| 3,26| 2,93| 2,55] 2,10 
28| 7,64| 5,45| 4,57| 4,07| 3,75| 3,53| 3,23| 2.90] 9,52] 2.06 
29] 7.60| 5.42| 4'54| 4'04| 3.73| 350| 3.20| 2'87| 249 2'03 
30| 7,56| 5,39| 4,51| 4,02| 3.70| 3,47| 3,.17| 2.84| 2.47| 2,01 
40| 7,31| 5,18| 4,31| 3,83| 3,51| 3,29| 2,99| 2,66] 2,29] 1,80 
60| 7,08| 4,98| 4,13| 3,65| 3,34| 3’12| 2.82| 2,50] 212] 1,60 
120] 6,85| 4,79| 3,95| 3,48| 3,17| 2'96| 2,66| 2’34| 1'95| 1,38 
© | 6,64| 4,60| 3,78| 3,32| 3,02| 2,80| 2,51| 2,18] 1,79] 1,00 
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Таблица 7 


ь ©. 
Предельное распределение Колмогорова К (1) = ь (—Пуе- 3" 
5 . Мф 


0,0000] 0000 | 0000 | 0001 10002 | 0003 | `0005 10008 | 00131 0019 
0028 | 0040 | 0055 | 0074 |0097 | 0126| 0160 10200 | 0247 | 0300 
0361 | 0428. | 0503 | 0585 |0675 | 0772| 0876 |0987 | 1104 | 1228 
1357 | 1492 | 1632 | 1778 | 1927 | 2080| 2236 12396 | 2558 | 2722 
2888 | 3055 | 3223 | 3391 | 3560 | 3728 | 3896 | 4064 | 4230 | 4395 
4559 | 4720 | 4880 | 5038 | 5194 | 5347 | 5497 | 5645 | 5791 | 5933 
6073 | 6209 | 6343 | 6473 | 6601 |6725| 6846 |6964 | 7079 | 7191 
7300 | 7406 | 7508 | 7608 | 7704 | 7798 | 7889 [7976 | 8061 | 8143. 


сид <> > <> <<) 
© 2 © — ©> бан 


* 


8223 | 8300 | 8374 | 8445 | 8514 | 8580| 8644 |87061 8765] 8823 
8878 | 8930 | 8981 | 9030 19076 | 91211 9164 19206] 9245 | 9283 
9319 | 9354 | 9387 | 9418 |9449 | 9478| 9505 |9531 | 9556 | 9580 
9603 | 9625 | 9646 | 9665 | 9684 | 9702| 9718 |9734 | 9750 | 9764 
9778 | 9791 | 9803 | 9815 | 9826 | 9836 | 9846 |9855 | 9864 | 9873 
9880 | 9888 | 9895 | 9902 |9908 | 9914| 9919 |9924 | 9929 | 9934 | 
9938 | 9942 | 9946 | 9950 | 9953 | 9956 | 9959 |9962 | 9965 | 9967 
9969 | 9971 | 9973 | 9975 |9977 | 9979| 9980 |9981 | 9983 | 9984 
9985 | 9986 | 9987 | 9988 19989 | 9990| 9991 |999119992 | 9993 


з з » 


хз 


С * * 


ь 


— = = =— — — — — — 
о бо 1 © (я -> № г — 


[9] 


99933 | 99970 | 99987 | 99995 1999981993991 1,00000 ы 


6. 
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СатЬг14се РЬ!]. $ос., 1905, у. 20, 36—65. 


ОСНОВНЫЕ ОБОЗНАЧЕНИЯ 


А, В, С,...-— события, множества, в некоторых случаях матрицы 
() А; или р А; — объединение (сумма) событий, множеств 


5ЕЗ $Е5 
П А, — пересечение (произведение) событий, множеств 
$ЕЗ 


Вс А— событие (или множество) В, представляет собой подсо-= 
бытие (подмножество) события (множества) А 


А — событие, противоположное А’ 

© — элементарное событие 

® — достоверное событие, пространство элементарных событий 

(2 — невозможное событие 

ср — поле событий множеств, алгебра событий, 0- -алгебра событий 

АЕ. — событие принадлежит полю событий, множеств 

Х, У, 7,...— случайные величины, скалярные или векторные 

х, И, 2,...-—возможные значения или реализации случайных ве- 
личин Х, у, Ру 

# (<) — плотность случайной величины Х 

Е (х) —функция распределения случайной величины Х 

Г у) —совместная плотность ‘случайных величин Х, У 

Е (х, и) —совместная функция ОЛЕНИ случайных вели- 

чин АХ, У 

Ё (х | у) — условная плотность случайной величины Х при данном 
ие. у случайной величины У 

(х| у) — условная функция распределения случайной величины Х 

при о значении у случайной величины У 

1 (х) —единичная функция, равная | при х > 0, 1/2 при х=о0 
и 0 при х < 0 

0 (х) — дельта-функция Дирака, производная от 1 (х) 

1в (х) —индикатор области В, т.е. функция, равная | в области В 
и О вне В 

о (В) —мера области В (длина, площадь, объем,...) 

4х — выборочная дисперсия скалярной случайной величины Х 


х— выборочное среднее квадратическое отклонение случайной 
величины Х 


* м | 
Юх, — выборочная ковариация случайных величин Хи У 
*ж` Е 


р коэффициент корреляции случайных величин 
Хи 
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т; = МХ — математическое ожидание (среднее ана случай- 
ной величины Х 

Х9 =Х — т, — центрированная случайная величина Х 

р;=0)Х — дисперсия случайной величины Х 

^х,—ковариация случайных величин Хи ТУ 

гху— Коэффициент корреляции случайных величин Х и У 

ух — момент второго порядка (второй момент) скалярной случай- 
ной величины Х 

7х,— смешанный момент второго порядка случайных величин 
Хи? 

ух (а) —момент второго порядка случайной величины Х относи- 
тельно точки а 

7ху (а, 5) —смешанный момент второго порядка случайных вели- 
чин Хи У относительно точек а и В 

Г,.— момент второго порядка (второй момент) векторной случай- 
ной величины Х, оператор момента второго порядка 

К„—ковариационная матрица случайного вектора Х, ковариаци- 
онный оператор 

х—корреляционная матрица случайного вектора Х 

Г;у— взаимный момент второго порядка (второй момент) случай- 
ных векторов Х и У, взаимный оператор момента второго порядка 

“«, — момент порядка г скалярной. случайной величины 

и; — центральный момент порядка г скалярной случайной ве- 
ЛИчИнНыЫ | 

9, ...к,— Момент порядка / случайного вектора (А: --...-Н А ==г) 


и», ...ви-— Центральный момент порядка г случайного вектора 
(ин... Аи) | и 

1 —асимметрия или скошенность распределения случайной ве- 
ЛИЧИНЫ 

\>— эксцесс распределения случайной величины 

С, /» — медиана скалярной случайной величины 


`бр—квантиль порядка р скалярной случайной величины 
о, Сз/а—Квартили 
В (ба 6./«)/2— срединное или вероятное отклонение или 


семиинтерквартильная широта 

о,1, .-.» бо, э— ДЕецили 

Ф (и) —функция Лапласа 

М [У | х| — условное математическое ожидание случайной вели. 
чины У при данном значении х случайной величины Х 
| с (^) — характеристическая функция случайной величины 

бт * @&2 — свертка 91 И бо 

х, — семиинвариант (кумулянт) орла г рН слу чайной 
Реличины 

х„,...й,— Семиинвариант порядка г векторной случайной величины 


(и --...-Рй = р) | 

`Рт, „-— вероятность того, что событие появится т раз при п не- 
зависимых опытах 

фл (и) —производящая функция для вероятностей Ри, п 

В» п-— вероятность того, что при п независимых опытах. событие 
появится не меньше # раз 

А (Е) —интенсивность пуассоновского потока 

и— среднее число событий, происходящих на данном временном 
ре, параметр распределения Пуассона 
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ре (г) — плотность у?-распределения с А степенями. свободы 

Т — стьюдентово отношение, обобщенное стьюдентово отношение 

5 (Е) — плотность распределения отЬЮдент (Г-распределения) 
с А степенями свободы 

тп (5) — плотность распределения Уишарта 

Не (Г) — плотность Р-распределения с Ги Ё степенями свободы 

№ (т, К) — нормальное распределение с параметрами т и К 

К (и) — предельное распределение Колмогорова 

Н» (х) — полиномы Эрмита степени п 

б— оценка статистической характеристики 0 

е (ф) — эффективность оценки б—=Ф(И) 

2(и|0)— функция правдоподобия 

о ( — величина высшего порядка малости по сравнению с вели- 
чиной х 

О (х) —величина одинакового порядка малости по сравнению с ве- 
личиной Хх 

{1 А— след матрицы А 

В (р, 9) — бета-функция 

Г (2) — гамма- -функция 

Т — верхний индекс — символ транспонирования 


ПРЕДМЕТНЫЙ УКАЗАТЕЛЬ 


Алгебра множеств 67 

— событий 34 

Алгоритм обучения 440 

Анализ дисперсионный 380, 381 
— последовательный 446` 

— регрессионный 380 

— факторный 422 

— шаговый регрессионный 380 
Аномальное наблюдение 260 


Аппроксимация — стохастическая 
284 | 
Асимметрия (скошенность) рас- 


пределения 122 


Бейеса формула 47, 458 
Бейесов подход 458 

Бейесово решение 458 
Бернулли теорема 231 
Бесселева функция 200 

- Бета-функция 203 

Блюма теорема 287 
Борелевское поле событий 35 
Броуновское движение 13 


Взаимная 
рица 100 

Вектор случайный 58 

Векторы координатные 116 

— случайные непрерывно-дис- 
кретные 74 

— — коррелированные 100_ 

— — некоррелированные 100 

— собственные 109 

Величина случайная векторная 58 

— — дискретная 59 

— — непрерывная 63 

‚ — — непрерывно-дискретная 73 

— — скалярная 16, 17, 58 

— — центрированная 92 
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ковариационная мат- 


Величины случайные зависимые 
143, 145 

— — коррелированные 97 

— — независимые 143, 145 

— — некоррелированные 97 

— — непрерывно-дискретные 73 

Вероятность апостериорная 48 

— априорная 47 

— безусловная 43 

— геометрическая 26 

— полная 26 

— попадания в интервал 45, 46 

— — — множество 58 

— — — область 65, 76 

— — — прямоугольник 85 

— — — точку 79 

— события 11, 19 

— условная 28, 40 

Вероятностное пространство 60 

— — случайной величины 60 

Вращение факторов 425 

— — варимаксное 426 

Выборка 20 

— группированная 24, 321 

— — одномерная 25 

— представительная 336 

Выборочная дисперсия 20 

— ковариация 22 

Выборочное среднее 20 & 

Выборочный коэффициент корре- 
ляции 22, 23 


Гамма-функция (Г(2)-функция) 69 
Геометрическая вероятность 26 
Гипотеза 256 

— простая 444 

— сложная 444 

Гипотезы конкурирующие 444 


Гистограмма 23, 24 Интервал доверительный для дис- 


Грама — Шарлье ряд 312 персии 240 
Границы доверительные 227 — — — математического ожида- 
Грань нижняя рассеивания оцен- ния 237 
ки скалярного параметра 264 — — симметричный 128 
— — — — векторного парамет- Исходы опыта равновозможные 
ра 266 25, 26 ы 


Группа событий полная 39 


Квадрат латинский 392 


Движение броуновское 13 | Квантиль 123, 129 
Двойственности принцип 32 — порядка р 123 
Декорреляция 109 Квартиль 124 
Дельта-функция (д-функция) им- Кифера и Вольфовица теорема 
пульсная 207, 463, 464 292 
Дециль 124 — о. Ковариация выборочная 22 
Дисперсия выборочная 20 | — скалярных случайных вели- 
— скалярной случайной вели- чин 96 
чины 92. — случайных векторов 99, 100 
— факторная 422 | — средняя за счет факторов 384 
Дрейф (тренд) 256 | Ковариационная матрица 99, 156 


Колебание случайное 12 
Колмогорова предельная функция 


Зависимость причинная 12 распределения 327 
Задача Бюффона (об игле) 27 — Компоненты главные 110 
— принятия решения 449 | Координаты некоррелированные 
— проверки гипотез 219, 256 109 к | 
Задачи решения однокритериаль-  — случайного вектора 58 
ные 453 Корреляционная матрица 99, 100 
— — многокритериальные 453 Корреляция 97 
Закон больших чисел 231 Коши теорема 165 
— всеобщей связи явлений 12 | Коэффициент повреляЩий выбо- 
— распределения случайной ве- рочной 23, 96 
личины 959 — доверия 297 
Значение возможное 17 — корреляции 22, 23 
— среднее дискретной случайной Кривая Пирсона 310 
величины 88 — распределения 62 
— у-е верхнее 206 — регрессии 150 
— у-е нижнее 206 Критерий Колмогорова 327 
Значения собственные 109 — Неймана — Пирсона 44} 


— Пирсона 444 
— Смирнова 331 
Идемпотентность 204, 205 - — согласия 327 
Идентификация 340 — Кронекера символ 109 
Импульс единичный прямоуголь- Кумулянты 170, 171 
ный 463 
Интеграл Лебега 67 


— Римана 67, 89 _ Лапласа функция 128 
— Фурье 167 Латинский квадрат 392 
Интенсивность отказов 42 Линеаризация нелинейной функ- 
— пуассоновского потока 55 ции 176 
Интервал доверительный 227, 232 — — статистическая 351 
— — для вероятности 232 «Ложного нуля» правило 21. 
— — — коэффициента корреля- Ляпунова метод 286 
ции 252 — функция 287. 
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Маклорена формула 57, 167 

Максвелла распределение 199 

Математическое ожидание 89 

Матрица взаимная ковариацион- 
ная 100 

— информационная Фишера 267 

о — квадратная 109 

— ковариационная 99, 156. 

— корреляционная 99, 100 

— эрмитова неотрицательно опре- 
деленная 102 

— эрмитовски сопряженная 102 

Медиана случайной величины 123, 
129 

Мера 36 

‚Метод вероятностный (статисти- 
ческий) 15 

— главных компонент 423 

— линеаризации 175 

— максимума правдоподобия Фи- 
шера 275 

— минимума у? 282, 326 

— моментов 212, 281. 

— Монте-Карло (статистического, 
моделирования) 331 

— наименьших квадратов 21 

— наискорейшего спуска 291 

— последовательных поворотов 
осей координат 111 

— простого суммирования 425 

— случайного поиска 296 

— статистического моделирова- 
ния (М№нте-Карло) 331 

— стохастических аппроксимаций 
285 

— — вероятностей 190: 

— сравнения элементов вероят- 
ностей 193 

— треугольной декомпозиции 429 

— функций Ляпунова, 286 

— характеристических функций 
214 

— центроидный (простого сумми- 
рования) 424, 425 

Методы вероятностные 15 

— статистические 15 

Множество конечное 30 

— несчетное 30 = 

— нулевой меры 63 

— одноточечное 34 

— пустое 34 ы 

— счетное 30 

Модели авторегрессии 394 

— детерминированные 340, 355 

— — распознавания 434 
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Модели комбинированные 395 

— линейные авторегрессии 395, 
407 

— математические 339 

— нелинейные 397, 398 


о — — авторегрессии 404 


— обучаемые (обучающиеся) 440 

— описываемые разностными 
уравнениями 394 

— оптимальные распознавания 434 

— принятия решения 449 

— распознавания 431 

— — последовательные 445 

— регрессионные 343, 377 

— — детерминированные 355 

— — полиномиальные 369 

— — стохастические 355 

— самообучающиеся 440 

— скользящего среднего 395 

— статистические 339, 340 

— стохастические 340, 355 

— теоретические 339 

— факторные 421, 422 

Моделирование случайных вели- 
чин 332 

— событий 335 

— статистическое 332 

Момент взаимный второго поряд- 
ка 100 

— второго порядка ` (второй) 98, 
99 


— — — относительно точки 98 

— начальный 121 

— первого порядка (первый) 98 

— случайной: величины 12 

— смешанный второго порядка 98 

— — — — относительно точек 
98 

— условный 150 

— центральный второго порядка 


— — смешанный второго поряд- 
ка 98 

— — порядка г 121 

Монте-Карло метод 331 


Нагрузки на факторы 422 


Надежность 41 


` Неравенство Чебышева 219, 220. 


Область доверительная 227, 299 
— — для ковариационной матри- 
цы 253 


Область доверительная для мате- 
матического ожидания и дис- 
персии 242 

— — — — — случайного 
тора 248 

— — — плотности 299, 301 

— — — функции ‘распределе- 
ния 303 

Образ 431 

Обучение модели принятия реше- 
ния 459, 461 

— моделей распознавания 440 

Объединение (сумма) двух собы- 
тий 29 

— множества событий 30 

Ожидание математическое 89 

— — дискретной случайной вели- 
чины 87, 88 | 

— — неслучайной величины 90 

— — случайной величины 125 

— — случайного вектора 90, 246 

— — условное 149, 150 

Оператор взаимный ковариацион- 
ный двух случайных величин 101 

— — момента. второго порядка 
101 

— ковариационный 101 

— момента второго порядка 101 

Операция (оператор) математиче- 
ского ожидания 91 


век- 


Опыт 16 
Опыты: независимые 48 
Островершинность кривой рас- 


пределения 122 

Отклонение выборочное среднее 
квадратическое 21 

— значимое 321 

— случайное 13 

— срединное (вероятное) 124 

— среднее квадратическое 20, 92 

— стандартное (среднее квадрати- 
ческое) 92 

Отношение обобщенное стьюден- 
тово 186 

— правдоподобия 436 

— стьюдентово 185, 213 

Оценивание интервальное 230 

— линейной регрессии со сдви- 
гом 365 

— неизвестных параметров 417 

— нелинейной регрессии 360 

— непараметрическое 298 

— параметрическое 298 

— параметров распределения 217 

— регрессии 356 


Оценивание рекуррентное 283 

— — корня уравнения регрессии. 
283 

— — математического ожидания 
283 

— — точки экстремума регрес- 
сии 291 

— точечное 230 

— факторов 429 

Оценка асимптотически .нормаль- 
ная 242 . 

— — эффективная 266, 268 

— вероятности 231 

— достаточная 270 

— ковариации 246 | 

— ковариационной матрицы 247, 
358 

— коэффициента корреляции 246 

— максимального правдотодооия 
275 

— математического ожидания 247 

— матрицы коэффициентов линей- 
ной регрессии 356 _ 

— моментов 245 

— несмещенная 224, 265 

— оптимальная 346 

— — в данном классе функций 
346 | 

— плотности 298, 305 

— смещения :224 

— состоятельная 223 

— статистической ’характеристи- 
ки 223 

— функции распределения 303 

— эффективная векторного пара- 
метра 267 

— — скалярного параметра 264 

Оценки собственных значений 280 

— — векторов  ковариационной 
матрицы 280 

Ошибка измерений 17 

— случайная 11 


Параметры распределений 217 

Пересечение (произведение) двух 
событий 30 - 

— множества событий 30 

Пирсона критерий 444 

Планирование экспериментов 381 

План латинского квадрата. 392 

— неполный 391 

— полный М№-факторный 386 

— эксперимента полный двух- 
факторный 381 
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Плосковершинность кривой рас- 
пределения 122 

Плотность вероятности 62 

— дискретной случайной 
чины 71 

— п-мерной * случайной величи- 
ны 77 

— непрерывно-дискретной — ска- 
лярной случайной величины 73 

— проекции случайного вектора 
133 

— случайного вектора 63 

— совместная двух случайных ве- 
личин 142 


вели- 


— условная случайного вектора - 


133 
— — случайной величины 142 
— функции случайного аргумен- 
та 190 
— широты выборки 207 
— — разброса 207 
Подмножество 131 
Подпространства взаимно допол- 
нительные 131 
Подпространство 131 


Подсобытие 32 ? 


Подход бейесов 458 

— минимаксный 459 

— эмпирический бейесов 458 

Полезность решения 450 

Поле событий 34 

Полная группа событий 39 

Попадание случайной величины. 
в интервал 79, 127 

— — множество 58 

— — область 65, 76 

— — точку. 79 

— случайного вектора в прямо- 
угольник. 85 

Порядок модели 
394 

Последовательность независимых 
случайных величин 214 

— ии 414 

— псевдослучайных чисел 333 

— случайных величин 219 

— сходящаяся в среднем квадра- 
тическом (с. к. сходящаяся) 


авторегрессии 


— — по вероятности (п. в.) 219 
— — почти наверное (п. н.) 219 
Поток событий 53 

— — Пуассона 55 

Правило «ложного нуля» 21 

— решающее 436, 444 


494. 


°— — — — значений 


Правило решения 257, 258 

— — рандомизированное 438 

— уровня 444 

Предельная функция распределе- 
ния Колмогорова 327 

Представление плотности линей- 
ной комбинацией данных функ- 
ций 317 

Приближенное представление рас- 
пределений 308 

Приведение случайного вектора к 
вектору с независимыми коор- 
динатами 187 

Признак информативный 431 

Принцип двойственности 32 

Проверка гипотез о значении па- 
раметра 257 

— — — независимости - 
ных величин 328 

— — — параметрах распределе- 
ния 256 , 

— — — распределениях 319 

— — — совпадении вероятностей 


330 


случай- 


параметра 

` 257 

— — — — распределений 329 

Проекции вектора 131 

Прообраз множества 179 

Пространство вероятностное 37, 
59 

— — случайной величины. 60 

— действительное линейное 347 

— значений случайной величи- 
ны 60 

— комплексное линейное: 347 

— линейное или векторное 347 

— элементарных событий 34 

Процесс стохастических аппрок- 
симаций 285 

Пуассоновский поток 55 

Пуассоновское приближение би- 
номиального распределения 57 

Пуассоновское распределение 52, 
55 


Разброс случайный 11 

Разложение асимптотическое 316 

— каноническое ковариацион- 

_ ной матрицы 110 

— — случайного вектора 116 

— ортогональное плотности 309 

— плотности по ортогональным 
полиномам 315 


Ра 


Разложение плотности по полино- 
мам Эрмита 311 

— случайного вектора по собст- 
венным векторам 109 

Распознавание образов 431 

Распределение арксинуса 196 

— биномиальное 49, 57 

— вероятностей 37, 55 

— выборочного коэффициента 
корреляции 249 

— вырожденное 75 

— — нормальное 160, 162 

— гипотетическое 321 

— дискретной случайной вели- 
чины 60 

— логарифмически 
(логнормальное) 69 

— многомерное нормальное 153 

— нецентральное Рэлея 200 

нормальное 68, 69 

— Максвелла 199 

показательное 69 

полиномиальное 52 

— предельное (асимптотическое) 
3 


нормальное 


— Пуассона 52, 55 
равномерное 68, 69 
Рэлея 199 
случайной величины 59 
Стьюдента 185 

`Уишарта 211, 386 
условное 158 
Эрланга 69 

В-распределение 69, 198 
у-распределение 69, 165 
Е-распределение 197 
Т-распределение 185 
\-распределение 196 
\?-распределение 166, 182 
Рассеивание снарядов 11 
Реализация случайной величины 17 
Регрессионный анализ 380 
Регрессионные полиномиальные 

модели 369 

Регрессия ‘линейная 361 
— — со сдвигом 365 
— нелинейная 360 
— одной случайной величины на 

другую 370 
— средняя квадратическая 344, 
345 

— — — линейная 346, 350 
Решение бейесово 458 
— минимаксное 459 

— оптимальное 453, 454 


Решение бейесово в данном клас- 
се функций 456 

Риск 450 

Рэлея распределение 199 

Ряд Грама — Шарлье 312 

— Эджуорта 315 


Свертка функций 202. 

Семиинварианты 170, 171 

а (с-алгебра) 35, 
`67 

Сигнал входной 339 = | 

— выходной 339 ы 

Символ Кронекера 109 


Симметрия эрмитова 101 


Система кривых рр 308 

— управления 14 

Скошенность распределения слу- 
чайной величины 122 


° Случай, благоприятствующий со- 


бытию 26 
Смещение оценки 224 
Событие достоверное 18$ ` 
— невозможное 18 
Событий полная группа 39 
События зависимые 43 


_— независимые 43 


несовместные 18, 29 
противоположные 31 
совместные 18 
эквивалентные 33 

— элементарные 33 
Состоятельность оценки 257 
— выборочная 20 

Статистика 223 

— достаточная 224 

Стоимость (цена) решения 450 
Стьюдента распределение 185 
Схема случаев 26 

Сходимость вероятностная 219 


— 
— 
— 


Теорема Бернулли 231 

— Блюма 287 

— Кифера и Вольфовица 292 

— Коши 165 

— умножения вероятностей для 
независимых событий 44 

— — математических ожиданий 
147, 148 

— — плотностей 142 

Теоремы предельные 214 

Тренд (дрейф) 256 


Уравнение максимума правдопо- 
добия 276 

Уровень значимости 227, 321 

— фактора 381 

Условие физической возможности 
системы 395 

Учитель 440 

— идеальный 440 

— реальный 440 


Факторы 380, 422 

хз коррелированные 426 

Фильтр Калмана 411 

Фишера матрица информацион- 
ная 267 

— метод максимума’ правдоподо- 
бня 275 

Формула Бейеса 458 

— конечных приращений т 
ранжа 292 

— Маклорена 57, 167 

— полного математического ожи- 
дания 151, 152 

— полной вероятности 45, 46 

— рекуррентная для выборочных 
средних 284 

— Фишера 251 

Функция аддитивная 36 

— бесселева 200 

— гипотетическая распределения 
327 

— дискриминантная 436 

— единичная ступенчатая 303 

— измеримая 71, 180 

— кусочно-непрерывная 89 

— Лапласа 128 

— Ляпунова 287 

— матричная 90 

— множества 36 

— надежности 41 

— потерь 450 

— правдоподобия 275 


Функция производящая 49 
— распределения 76, 85, 132 


— — проекции случайного век*_ 


тора 132 
— — совместная двух ‘случайных 
величин 143 
— решающая 438, 454 
— счетно-аддитивная 36 
— характеристическая 162, 163 
— В(р, 9) (бета-функция) 203 
—9 ть функция) 207 
— : (дельта-функция) Дирака 464 
— 0 (дельта-функция) — импульс- 
ная 463 


Характеристика качественная 16 

— количественная 13, 17 

— статистическая 217, 218 

— числовая случайной величи- 
ны 87 

Хи-квадрат распределение (х?-рас- 
пределение) 182 


Частота события 17 

— условная 17, 18 

Чебышева неравенство 219, 220 
теорема 235 

Число степеней свободы 182, 185 


< 
Широта семиинтерквартильная 124 


Эджуорта ряд 315 

Эксцесс распределения случайной 
величины 122 

Элемент вероятности 67, 193 

Эллипсоид рассеивания 119 


Эффективность оценки 266 


Явления массовые 14 
— случайные 11—13 
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